自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

龚帅立的博客

gongshuaili

  • 博客(46)
  • 资源 (16)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 yum下载依赖包到本地但不安装

开局一个命令，yum install --downloadonly --downloaddir=<directory> <package-name>备注：下载的安装包在打包的这台机器上没有安装过，也没有卸载过操作案例一[root@bogon ~]# yum install --downloadonly --downloaddir=/root/docker dockerLoaded plugins: fastestmirrorLoading mirror speeds f

2020-08-04 10:14:09 1510

原创 docker无法删除镜像 Error: No such image: 965ea09ff2eb

今天去服务器查看docker镜像，在删除多余镜像碰到了镜像无法删除的问题，而且删除的时候报出Error: No such image: 965ea09ff2eb[root@bgs-8p208-yining ~]# docker rmi 965ea09ff2ebError: No such image: 965ea09ff2eb删除失败，docker images 可以查看相关信息 这里却显示无法找到镜像 。尝试各种方法，也重新拉取镜像，但是还是无法解决问题。刚好磁盘也快满了，决定去docker镜

2020-05-09 15:01:52 953

原创 记录一次edit文件损坏导致JournalNodes Web UI无法访问排查处理过程

今天登录大数据集群例行巡检突然发现出现了两个告警：查看发现是一台节点的jourmalNode webUI无法访问俗话说：婶婶能忍叔叔也不能忍，一句话盘他下面记录一下这次问题排查处理的过程：既然说是web无法访问，那就先从前端入手，老规矩复制此链接到新的浏览器窗口打开，确实是无法访问下面远程服务器命令行执行telnet 192.168.94.26 8480 测试端口号显示端口是存活...

2020-03-05 11:34:22 1200

原创 初学者记一次被clichouse TTL坑经历

随着clickhouse越来越火，近日也部署一个clickhouse集群，测试体验使用一下，满满的热情却被TTL操作给打脸，下面是测试用例#创建测试表CREATE TABLE test_tb ( id UInt16, create_time Date, comment Nullable(String)) ENGINE = MergeTree() PARTITION BY c...

2020-02-20 12:07:59 5518 6

原创 Elasticsearch(ES) 配置建议

‌这种技术通过压缩对象指针，‌使得32位的指针可以引用40亿个对象，‌而不是40亿个字节，‌从而在堆内存达到32G时，‌仍然能够使用32bit的指针表示。‌然而，‌一旦内存超过这个界限，‌指针将切换到普通对象的指针，‌这将导致每个对象的指针变长，‌从而浪费更多的CPU和内存带宽，‌降低性能。‌此外，‌当JVM的内存设置为32GB以上时，‌实际使用的内存效果会下降，‌因为压缩下的对象会比未压缩的要小一些，‌正常是20-30%的差异。(内存:节点要存储的数据)(内存:节点要存储的数据)

2024-08-01 11:37:22 619

原创 Elasticsearch(ES) 集群脑裂

Elasticsearch(ES) 集群脑裂

2024-07-29 10:03:19 345

原创 Elasticsearch(ES)版本升级

ES版本升级，索引不兼容，必须删除或重新索引它们才能升级到更高版本。ES支持的操作系统，ES支持的JVM。

2024-07-29 09:52:46 497

原创 Elasticsearch(ES)性能调优

Elasticsearch(ES)性能调优

2024-07-17 09:41:27 395

原创 Elasticsearch(ES)集群监控

Elasticsearch(ES)集群监控

2024-07-17 09:39:24 559

原创 Elasticsearch(ES)数据备份迁移

Elasticsearch(ES)数据备份迁移

2024-07-16 10:06:53 412

原创 Elasticsearch(ES)故障诊断

Elasticsearch(ES)故障诊断

2024-07-16 10:05:20 246

原创 Tomcat启动闪退问题解决方法

在解决Tomcat启动闪退问题时，建议按照上述顺序逐一排查可能的原因，并根据实际情况采取相应的解决措施。同时，也可以参考Tomcat的官方文档和社区资源以获取更多帮助和支持。

2024-05-30 14:08:04 280

原创 服务器硬件基础知识

这些组件共同构成了服务器硬件的基础，为服务器提供了强大的计算、存储和网络通信能力。

2024-05-30 13:55:27 592

原创 什么是容器

是一种虚拟化技术，它将应用程序及其所有依赖项打包到一个独立的、可移植的容器中，以便在不同的计算环境中进行开发和部署。这种技术使得应用程序的部署变得简单和可靠，因为它确保了应用程序在从一个环境移动到另一个环境时，其行为和性能是一致的。目前，最流行的容器技术之一是Docker。Docker提供了一套完整的工具链，用于构建、运行和管理容器。通过使用Docker，开发人员可以轻松地构建可移植的、自包含的容器化应用程序，并将其部署到任何支持Docker的环境中。

2024-05-30 13:48:40 229

原创 带宽与网速

10M宽带的最快下载速度是1.25MB/s，100M的宽带最快下载速度是12.5MB/s。1M宽带下载速度也就是125KB/s，再去掉损耗的话就是120KB/s左右。运营商说的1M宽带的M是指Mb/s，也就是Mbps，换算一下的话，

2024-05-30 09:30:47 197

原创 openstreetmap全球地理编码服务容器搭建

4、复制挂载的文件至新服务器，并允许docker。2、nominatim官网。

2024-05-30 09:18:06 428

原创 网络架构三层到大二层的对比和选择

架构三层到大二层的演变二层网络三层网络

2024-05-28 10:03:19 615

原创 网络架构设计常用设备

3. Location 2部署的IDS用于保护余下的网络组件免受恶意软件的危害。： 核心交换机为进出数据中心的包提供高速的转发，为多个汇聚层提供连接性，核心交换机为整个网络提供一个弹性的 L3 路由网络。汇聚层是网络接入层和核心层的 “中介(中间层)”,就是在 Server 接入核心层前先做汇聚,以减轻核心层设备的负荷。汇聚交换机具备源地址、目的地址过滤、实时策略、安全等多种功能的同时，还具备网络隔离、分段等功能。综合考虑网络性能、带宽、延迟以及网络规模，确保网络的可用性和高效性；1.尽可能的靠近攻击源。

2024-05-27 11:56:00 818

原创 centos7下双网卡绑定（bonding技术）

3、配置eno1与eno2的网卡配置文件，文件位于/etc/sysconfig/network-scripts/目录，分别为ifcfg-eno1，ifcfg-eno2。2、创建bond0配置文件，创建/etc/sysconfig/network-scripts/ifcfg-bond0文件，加入如下内容。4、修改完成后，我们再使用如下命令让网络配置生产，最后再重启network.service服务。命令查看bonding模块的信息，默认情况下bonding模块没有被加载。

2024-05-20 11:56:44 767

原创 docker镜像容器搭建nominatim地理编码服务

docker centos7.6 nominatim openstreetmap

2024-05-20 10:51:01 508

原创 基础设施运维测试

基础设施运维

2023-06-16 10:51:14 418

原创 centos7部署kafka3.2

docker kafka3.2

2023-01-06 11:21:38 202

原创 centos7部署zookeeper3.8

docker

2023-01-06 11:19:09 322

原创 大数据运维工程师面试

面试题答复

2022-08-04 17:37:25 1944

原创 daily checklist

获取服务器信息

2022-06-24 14:16:45 168

原创 mysql backup

mysql 备份

2022-06-24 14:15:25 167

原创 install the gcc

安装gcc、lib

2022-06-24 14:14:42 107

原创 install the command

初始化安装常用命令

2022-06-24 14:13:56 264

原创 change yum repo

修改yum源

2022-06-24 14:12:40 192

原创 centos selinux初始化脚本

初始化环境之selinux配置

2022-06-24 14:09:08 168

原创 百分点科技dataops实践

百分点dataops实践

2022-02-24 19:01:05 327

原创 centos7.6部署harbor2.1.1

安装docker安装docker-compose安装Harbor下载Harbor一、新装centos7.6操作系统初始化服务器，关闭firewalld&sexlinux,配置yum源systemctl stop firewalldsystemctl disable firewalldsed -i ‘s/^SELINUX=enforcing/SELINUX=disabled/g’ /etc/selinux/操作日志[root@localhost ~]# uname -aLinux

2020-11-17 11:28:52 985

原创 centos7开启selinux导致无法修改主机名

出现问题: 使用ansible部署openshift初始化环境的时间，脚本执行到修改主机名时间报错，经排查是hostname系统服务宕机了#执行的代码如下---- name: set the host name command: hostnamectl set-hostname {{ hostname }}问题分析:我们通过 ls -Z 命令我们可以查看文件上下文信息，也就是/etc/hostname文件的SELinux信息：[root@master1 etc]# ls -Z h

2020-06-28 10:33:10 1047

原创 centos7针对xfs文件系统减小Linux swap分区的方法

先df -h、lsblk、fdisk - l命令查看一下当前分区情况,并获取swap分区/dev/mapper/centos-swap: 33.8 GB用swapoff命令关闭交换分区：swapoff /dev/mapper/centos-swap然后用free命令检查下swap是否变为0了。用lvreduce命令把swap分区减少至4G： lvreduce -L 4G /dev/mapper/centos-swap输入y，确定，看到提示swap减小至4G。重新把/dev/m.

2020-06-17 13:22:43 925

原创 centos7针对xfs文件系统缩小home目录并动态扩容根目录

扩容根目录的操作步骤如下：将/home文件夹备份，删除/home文件系统所在的逻辑卷，增大/文件系统所在的逻辑卷，增大/文件系统大小，最后新建/home目录，并恢复/home文件夹下的内容。备份/home分区内容这里需要选一个能够容纳下/home文件夹大小的分区，我们使用一个新盘并挂载/data，因此，我们将/home备份到/data下面。 tar -zcvf /data/home.tar.gz /home卸载/home要先终止所有使用/home文件系统的进程，这里要注意不要在/home

2020-06-17 13:17:44 2282

原创 centos7针对xfs文件系统删除home目录并动态扩容根目录

删除home目录并动态扩容根目录的思路如下：针对xfs文件系统对新安装好的服务器删除home文件系统所在的逻辑卷，增大根目录的逻辑卷，从而达到增大根目录大小通过lsblk命令将新安装操作系统的机器列出块设备信息[root@40-186 yum.repos.d]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTsda 8:0 0 2.7T 0 disk ├─sda1 8

2020-06-17 13:05:16 1326

原创 vscode windows版本安装SFTP配置sftp

龚帅立出品## 1.在vscode中下载sftp插件在vscode中快捷键 ctrl+shift+P 打开指令窗口，输入extension:install，回车，左侧即打开扩展安装的界面上面这一步相当于点击左侧的拓展ctrl+shift+x在搜索框中输入SFTP，第一个就是需要安装的，点安装 。## 2.在vscode的工程中配置sftp.json然后快捷键 ctrl+shift+P 打开指令窗口，输入sftp:config，回车，就会在当前工作工程的.vscode文件夹下生成一个sft

2020-05-16 09:51:46 860

原创 docker基于本地mysql安装zabbix-server与zabbix-web

zabbix-server：启动Zabbix server实例，并关联这个实例到本地的MySQL服务器实例docker run --name zabbix-server-mysql -t \**-e DB_SERVER_HOST="172.24.8.208" \**-e DB_SERVER_PORT="3306" \-e MYSQL_DATABASE="zabbix" \-e MYSQL_USER="zabbix" \-e MYSQL_PASSWORD="zabbix" \-e MYSQL_R

2020-05-09 16:12:48 859

原创 基于hls的nginx流媒体处理的探索与实践

前言：随着互联网的普及，网络带给人们形式多样的信,利用网络传输声音与视频信号的需求也越来越大。全球疫情催生了流媒体视频和线上游戏娱乐的需求，而随着5G、宽带、数字电视产业链的逐步形成与完善，三大产业对流媒体节目内容及制作、编解码技术的需求也到了迫不及待的阶段。流媒体的发展也到了一个全面繁荣的时期……架构：Nginx本身是一个非常出色的HTTP服务器,基于人的脸部特征信息进行身份识别的人脸识别技术.这两个东西通过一个nginx的模块nginx-rtmp-module,组合在一起即可以搭建一个功能相对比较

2020-05-09 15:47:49 654

原创 测试web网站速度

Requests per second：吞吐率The number of concurrent connections：并发连接数Time per request：用户平均请求等待时间Time taken for tests 测试总时长Failed requests: 失败请求数Transfer rate: 网络传输速度

2020-03-16 11:42:46 1088

基础环境运维管理-服务器组成

基础环境运维管理-服务器组成

2024-05-30

Jenkins 环境搭建.pdf
Jenkins 简介 Jenkins 是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复 的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。 Java 安装 首先我们需要准备 Java 环境，使用下面命令来安装 Java： 1 yum ‐y install java‐1.8.0‐openjdk‐devel Jenkins 安装 为了使用 Jenkins 仓库，我们要执行以下命令： 1 sudo wget ‐O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhatstable/ jenkins.repo 2 sudo rpm ‐‐import https://pkg.jenkins.io/redhat‐stable/jenkins.io.key 如果您以前从 Jenkins 导入过 key，那么 rpm --import 将失败，因为您已经有一个 key。

2020-03-06

haproxy配置文件
#--------------------------------------------------------------------- #默认配置 #--------------------------------------------------------------------- defaults #默认的模式【tcp:4层； http:7层； health:只返回OK】 mode http #继承全局的日志定义输出 log global #日志类别, httplog option httplog option dontlognull option http-server-close option forwardfor except 127.0.0.0/8 option redispatch retries 3 timeout http-request 10s

2020-02-19

OpenTSDB 2.3文档 »用户指南 »UID和TSUID.pdf
UID和TSUID 在OpenTSDB中，当您编写时间序列数据点时，它始终与度量标准和至少一个标记名称/值对相关联。在第一次遇到或通过API或CLI工具显式分配时，会为每个度量标签，标记名称和标记值分配唯一标识符（UID）。度量标准和标记名称/值对的组合创建时间序列UID或TSUID。

2020-02-19

OpenTSDB 2.3文档 »用户指南 »查询或读取数据 之查询过滤器.pdf
查询过滤器 任何数据库系统的关键功能是使用某种形式的过滤来启用获取完整数据集的子集。自版本1.x以来，OpenTSDB提供了过滤功能，扩展功能从2.2及更高版本开始。过滤器目前对标签值进行操作。这意味着在获取数据时，必须严格按照数据库中显示的任何指标和标记键进行指定。

2020-02-19

OpenTSDB 2.3文档 »用户指南 »查询或读取数据之查询示例.pdf
查询示例 以下是使用示例数据集的示例查询列表。我们将说明可能遇到的一些常见查询类型，以便您了解查询系统的工作方式。示例集中的每个时间序列仅存储单个数据点，并且UID已被截断为单个字节以使其更易于阅读。示例查询是来自HTTP API的所有Metric查询，仅显示m=组件。有关详细信息，请参阅/ api / query。如果您使用的是CLI工具，则查询格式会略有不同，请阅读特定命令的文档。

2020-02-19

OpenTSDB 2.3文档 »用户指南 »查询或读取数据之查询详细信息和统计信息.pdf
查询详细信息和统计信息 随着OpenTSDB 2.2版本的出现，我们现在可以围绕查询提供大量细节，因为我们专注于提高灵活性和性能。查询详细信息包括发出请求的人（通过标头和套接字），响应是什么（HTTP状态代码和/或异常）以及TSD采取的各种进程的时间安排。 每个HTTP查询可以包括一些这样的细节，例如原始查询和使用showSummary和showQuery参数的定时信息 。其他详细信息可在/api/stats/query输出中找到，包括标题，状态和例外。并且可以通过日志配置将完整详细信息（减去实际结果数据）记录到磁盘。此页面详细介绍了各种查询部分及其中的信息。

2020-02-19

OpenTSDB 2.3文档 »用户指南 »查询或读取数据之查询性能.pdf
查询性能 查询性能对任何数据库系统都至关重要。此页面列出了一些常见的OpenTSDB问题以及提高性能的步骤。 高速缓存 此时，OpenTSDB没有内置缓存（除了内置GUI，将缓存PNG图像文件60秒）。因此，我们依赖于底层数据库的缓存。在HBase（最常见的OpenTSDB后端）中，存在块高速缓存的概念，其将在写入和/或读取时在存储器中存储行和列的块。Nick Dimiduck的Block Cache 101是一个很好的入门读物。设置缓存的一个好方法是使用BucketCache相当大的L1缓存并将其调整大小，以便它充当写缓存并将大部分最近的数据保存在内存中。然后，当用户运行查询时，L2缓存可以将经常查询的数据保存在内存中。 仔细观察您所在地区的服务器是否有GC暂停。用户通常在堆外模式下运行桶缓存，但在Java和JNI之间进行串外缓存命中和写入时，仍然需要付出代价。 另外, 请确保在 HBase 表上启用了压缩。块存储在内存中, 使用表中指定的压缩算法, 因此您可以在缓存中容纳比未压缩的更多压缩块。

2020-02-19

OpenTSDB 2.3文档 »用户指南 »查询或读取数据之聚合.pdf
OpenTSDB旨在在查询执行期间有效地组合多个不同的时间序列。这样做的原因是，当用户查看他们的数据时，他们通常会从较高的级别开始询问诸如“数据中心的总吞吐量是多少？”之类的问题。或“按地区划分的当前用功耗是多少？”。在查看这些高级别值之后，可能会出现一个或多个值，因此用户可以深入研究更详细的数据集，例如“我的LAX数据中心主机的吞吐量是多少？”。我们希望能够轻松回答这些高级问题，但仍然可以深入了解更多细节。 但是，如何将多个单独的时间序列合并为一个系列的数据呢？聚合函数提供了将不同时间序列数学方式将不同时间序列合并为一个的方法。过滤器用于按标签对结果进行分组，然后将聚合应用于每个组。聚合类似于SQL的GROUP BY子句，其中用户选择预定义的聚合函数以将多个记录合并为单个结果。但是在TSD中，每个时间戳和组聚合一组记录。 每个聚合器都有两个组件： 功能 - 应用的数学计算，例如对所有值求和，计算平均值或选择最高值。 插值 - 一种处理缺失值的方法，例如当时间序列A的值为T1但时间序列B没有值时。 本文档重点介绍如何在一个组中按上下文使用聚合器，即将多个时间序列合并为一个时。此外，聚合器可用于下采样时间序列（即返回较低分辨率的结果集）。有关更多信息，请参阅下采样。

2020-02-19

OpenTSDB 2.3文档 »用户指南 »查询或读取数据之日期和时间.pdf
在查询数据时，OpenTSDB支持许多日期和时间格式。通过GUI，CliQuery工具或HTTP API提交的查询支持以下格式。每个查询都需要一个开始时间和一个可选的结束时间。如果未指定结束时间，则将使用运行TSD的系统上的当前时间。 相对的 如果您不知道要求的确切时间戳，则可以相对于运行TSD的系统上的时间提交过去的时间。相对时间遵循以下格式-ago，其中为时间单位数，是指单位时间，如几小时，几天，等。例如， 如果我们提供了1小时前的开始时间并离开了结束时间, 我们的查询将在1小时前返回到当前时间的数据开始。可能的时间单位包括:

2020-02-19

OpenTSDB 2.3文档 »用户指南 »查询或读取数据之下采样.pdf
下采样（或信号处理，抽取）是降低数据采样率或分辨率的过程。例如，假设温度传感器每秒向OpenTSDB系统发送数据。如果用户在一小时的时间跨度内查询数据，他们将收到3,600个数据点，这些数据点可以很容易地绘制出来。但是现在，如果用户要求整整一周的数据，他们将收到604,800个数据点，突然之间图形可能变得非常混乱。使用下采样器，单个时间序列的时间范围内的多个数据点与数学函数一起聚合成对齐时间戳的单个值。这样我们可以减少从604,800到168的值的数量。 下采样器至少需要两个组件： 间隔 - 聚合值的时间范围（或桶）。例如，我们可以聚合多个值1分钟或1小时甚至一整天。间隔在格式指定如1h1小时或30m30分钟。从2.3开始，all间隔现在可用于将时间范围内的所有结果下采样到一个值。例如，0all-sum将从查询开始到结束的所有值相加。请注意，仍然需要数值，但它可以是零或任何其他值。 聚合函数 - 确定如何合并区间中的值的数学函数。从聚合函数聚合文档被用于该功能。 例如，采用以下时间序列A和B。数据点覆盖70秒的时间跨度，每10秒钟一次。假设我们想要缩短采样到30秒，因为用户正在查看更长时间跨度的图表。另外，我们使用sum聚合器将这两个系列分组为一个。我们可以指定一个下采样器30s-sum，它将创建30秒的存储桶并对每个存储桶中的所有数据点求和。这将为每个系列提供三个数据点：

2020-02-19

OpenTSDB 2.3文档 »用户指南 »汇总和预聚合.pdf
虽然TSDB旨在存储原始的全分辨率数据，只要有空间，对宽时间范围或许多标签组合的查询都会非常痛苦。此类查询可能需要很长时间才能完成，或者在最坏的情况下，会因内存不足而终止TSD。从OpenTSDB 2.4开始，一组新的API允许存储和查询较低分辨率的数据，以便更快地回答这些查询。此页面将概述汇总和预聚合的内容，它们在TSDB中的工作方式以及如何最好地使用它们。请参阅API的部分以了解具体的实现细节。

2020-02-19

OpenTSDB 2.3文档 »用户指南-查询或读取数据.pdf
OpenTSDB提供了许多提取，操作和分析数据的方法。可以通过CLI工具，HTTP API查询数据，或者其通过GnuPlot图查看。开源工具如Grafana和Bseen也可以访问TSDB数据。使用OpenTSDB基于标签的系统进行查询可能有点棘手，因此请仔细阅读本文档并查看以下页面以获取更深入的信息。此页面上的示例查询遵循HTTP API格式。

2020-02-19

OpenTSDB 2.3文档 »用户指南-写数据.pdf
您或许想直接进入openTSDB并开始将数据写入你的TSD，但要要真正使用OpenTSDB的强大功能优势和灵活性，您可能需要暂停（先停下来）并思考您的命名模式(方式)。完成下面的操作后，您就可以继续通过Telnet或HTTP API上传推送数据到openTSDB，或使用OpenTSDB支持的现有工具，例如'tcollector'。

2020-02-19

OpenTSDB 2.3文档 »用户指南 -查询或读取数据之了解指标和时间序列.pdf
OpenTSDB是一个时列数据库。时间序列是一段特定metric随时间变化的一系列数字数据点。每个时间序列都包含一个metric加上与该metric相关的一个或多个tags（我们将覆盖一些标记）。metric是您希望随时间跟踪的任何特定数据（例如，到Apache托管文件的命中）。 OpenTSDB也是一个数据绘图系统。OpenTSDB的绘制方式与其他系统略有不同。我们将在下面更详细地讨论绘图，但是现在重要的是要知道，对于OpenTSDB任何给定绘图的基础都是metric。它采用该metric，查找您选择的时间范围的所有时间序列，将这些时间序列聚合在一起（例如，汇总）并绘制结果。绘图机制非常灵活和强大，你可以做更多的事情，但是现在我们来谈谈时间序列的关键，即metric。

2020-02-19

2T以上磁盘分区、格式化、挂载详情记录.pdf
centos7操作系统挂载超过超2T磁盘分区、格式化、挂载操作记录记录[root@bfd-lugu-94p44 ~]# parted /dev/sdb

2020-02-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除