- 博客(590)
- 收藏
- 关注
RSS订阅原创 GROUP BY clause and contains nonaggregated column ‘nsoc.asset_info.ASSET_TYPE‘ whi ch is not functio
日志报错：GROUP BY clause and contains nonaggregated column 'nsoc.asset_info.ASSET_TYPE' whi ch is not functionally dependent on columns in GROUP BY clause;
2024-08-12 08:49:14
131
原创 [/usr/local/openssl//.openssl/include/openssl/ssl.h] Error 127
需要说明的是，我这里编译所使用的Nginx源码是1.9.9的。根据报错信息我们知道，出错是因为Nginx在编译时并不能在/usr/local/ssl/.openssl/ 这个目录找到对应的文件，其实我们打开/usr/local/ssl/这个目录可以发现这个目录下是没有.openssl目录的，因此我们修改Nginx编译时对openssl的路径选择就可以解决这个问题了。然后再进行Nginx的编译安装即可。
2024-08-06 12:13:35
369
原创 制作Docker镜像及dockerfile使用（五）
dockerfile主要组成部分 1.基础镜像信息 FROM centos:6.9 即使镜像不存在只要镜像名称和版本对了会去docker官方下载 2.制作镜像操作指令 RUN yum -y install openssh-server 3.容器启动时执行的指令 CMD ["/bin/bash"]dockfile语法格式 基础镜像信息，也就是基于哪个镜像去构建：FROM 镜像名:版本 制作容器操作指令，制作镜像是需要用到的命令：RUN 命令。
2024-06-12 07:00:00
661
原创 Docker数据卷volume（四）
每当容器删除时，里面的数据也会随着删除，当运维人员不小心删了一个容器时，那可就太悲催了，因此docker还有一种数据卷叫做持久性数据卷组，每次都会把容器中操作的数据保存在数据卷组中，即使删除了这个容器，创建新的容器照样可以使用数据卷组中的内容。只有默认首页，我们装了nginx肯定不只有首页，因此网站源码存放位置我们需要考虑了，放到容器中，很多命令在容器中不生效这点就很头疼，因此就有了挂载这么个说法，在宿主机建一个目录，挂载到容器中，宿主机发生改变，容器也会跟着改变，实时同步。 可以是文件也可以是目录。
2024-06-11 16:19:14
348
原创 Docker网络、端口映射详解篇（三）
扩展：nginx负载均衡与后端服务器连接时也使用随机端口，因此最多可以支持5w个并发，想增大并发量就是多增加几个ip，在dns上面设置例如华北用户走这个ip，华南用户走下一个ip，这样并发就高了，cdn也是这种原理。 -p hostport:containerport:udp //映射成udp端口。 -p ip:hostport:containerport //指定ip映射。 -p ip::containerport //映射成随机端口。 -p 81:80 -p 443:443 //指定多个。
2024-06-10 21:14:37
1289
原创 Docker与虚拟化的概述（一）
容器就是在隔离的环境运行的一个进程，如果进程停止，容器就会销毁。隔离的环境拥有自己的文件系统、ip地址、主机名等。
2024-06-10 00:41:45
870
原创 filebeat
下午4点filebeat崩溃，4-5的数据未收集到ES集群。ES集群只有下午5点以后的数据和4点之前的数据。请问如何找回4-5点数据，请说出思路即可。filebeat是按行输出的，如果没有换行，是不会输出的。一般先output到控制台，测试正确了，在往es上写。
2024-06-10 00:31:35
404
1原创 linux-elasticsearch（存储与检索）
9200端口作用：对ES集群外部提供http/https服务。可以理解为对客户端提供服务。9300端口作用：对ES集群内部进行数据通信传输端口，用的是tcp协议。堆内存，生产建议，一般内存给1半，不要大于32G,集群半数以上服务开启提供对外服务。
2024-04-21 21:19:06
1101
原创 WireShark的使用
WireShark是非常流行的网络封包分析工具，可以截取各种网络数据包，并显示数据包详细信息。常用于开发测试过程中各种问题定位。本文主要内容包括：1、Wireshark软件下载和安装以及Wireshark主界面介绍。2、WireShark简单抓包示例。通过该例子学会怎么抓包以及如何简单查看分析数据包内容。3、Wireshark过滤器使用。通过过滤器可以筛选出想要分析的内容。包括按照协议过滤、端口和主机名过滤、数据包内容过滤。
2024-04-16 15:41:35
581
原创 uwsgi使用过程报错问题记录
libstdc++.so.6只是libstdc++.so.6.0.19的一个软连接,我们来使用以下命令查看有没有想要的CXXABI_1.3.8的包。备份libstdc++.so.6,建立libstdc++.so.6.0.26的软连接到libstdc++.so.6。看的出来是没有这个包的,我们将libstdc++.so.6.0.26复制到/lib64/下。后面陆续会提示缺少文件,缺什么cp什么。最后我们查看一下uwsgi版本。安装完成后添加软连接。
2024-04-15 17:16:44
299
原创 LNMP平台搭建与应用
LNMP就是Linux+Nginx+MySQL+PHP，Linux作为服务器的操作系统、Nginx作为web服务器、PHP作为解析动态脚本语言、MySQL即为数据库Linux作为服务器的操作系统Nginx作为WebServer服务器PHP作为动态解析服务，也不只是php还有python、perlMySQL作为后端存储数据库服务Nginx服务本身不能处理PHP请求，那么当用户发起PHP动态请求，PHP是这样处理的。
2024-04-11 21:34:41
788
原创 Nginx最常用的七种模块配置
修改主配置文件nginx.conf，把其中的access_log、error_log注释掉，并增加多个log_format即使注释掉，新的站点如果不定义access_log/error_log依然会存放到默认的路径下http {.........
2024-04-10 21:57:49
1457
原创 Nginx基本概述
Nginx是一个开源且高性能、可靠的http web服务、代理服务、负载均衡Nginx的好处开源：直接获取源代码高性能：支持海量并发可靠：服务稳定轻量：占用资源少常见的http web服务httpd Apache基金会开发IIS 必须是微软服务器才可以使用GWS Google开发openrestry 基于Nginx+luatengine 淘宝基于Nginx开发1.nginx的功能web服务器、代理、负载均衡、安全控制2.nginx的优势。
2024-04-10 21:44:32
811
原创 linux安装docker-compose
这样，就成功在Linux上安装了Docker Compose命令。下载Docker Compose的可执行文件。如果要安装特定版本的Docker Compose，请将上述命令中的。命令来管理和运行基于Docker Compose的应用程序。如果安装成功，将显示Docker Compose的版本号。替换为所需的版本号。创建一个符号链接，将。
2024-04-09 22:00:14
262
原创 centos7系统双网卡bound绑定配置
生产环境必须提供 7×24 小时的网络传输服务。借助于网卡绑定技术，不仅 可以提高网络传输速度，更重要的是，还可以确保在其中一块网卡出现故障时，依然可以正 常提供网络服务。假设我们对两块网卡实施了绑定技术，这样在正常工作中它们会共同传输 数据，使得网络传输的速度变得更快；而且即使有一块网卡突然出现了故障，另外一块网卡 便会立即自动顶替上去，保证数据传输不会中断。
2024-04-09 01:04:36
856
原创 rhel7和centos7以上版本忘记root密码处理方法
找到linux16一行，摁ctrl+e跳转到行尾，输入 \rd.break，再按ctrl+x进入急救模式。进入grub菜单，选择默认第一个启动项，按e进行编辑。
2024-04-08 23:02:44
416
原创 Logstash数据处理服务的核心概念以及简单使用
logstash -e命令后面指定的字符串其实就是一个配置文件格式，只不过将配置文件内容合成一行来执行，Logstash能够将采集的日志进行格式化、过滤，最后将数据推送到Elasticsearch存储中。“@timestamp” 标记事件发生的时间点。Logstash二进制包没有集成jdk，需要。Logstash默认会给日志增加三个字段。“host” 标记事件发生的主机。“type” 标记事件的唯一类型。Logstash命令格式参数。：字符串形式的配置文件。：指定运行的配置文件。：检测配置文件的语法。
2024-04-07 01:31:06
296
原创 ELasticsearch集群核心概念以及集群搭建（二）
Elasticsearch是一个基于Apache Lucene的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为迄今为止最先进、性能最好的、功能最全的搜索引擎库，但是lucene只是一个库，想要用它，必须使用java来作为开发语言并将其直接集成到你的应用中，Lucene非常复杂，需要深入了解检索的相关知识来理解是如何工作的，Elasticsearch也# ELasticsearch集群概念及部署。操作部署与elkstack-2的方式一样，只是改改配置文件不同。
2024-04-06 22:35:52
957
原创 ELkStack集群核心概念
由FIlebeat收集应用程序的日志然后通过Logstash将Filebeat中的数据读取存储到ELasticsearch集群，最后由Kibana展示日志数据。的简称，提供一套完整的企业级日志平台解决方案。ELK Stack需求背景。
2024-04-06 20:07:05
194
原创 centos7.6搭建squid代理服务器
客户机想访问163网站时，首先向代理服务器请求web页面，代理服务器首先会查看自己的缓存，如果缓存中有，则直接发送给客户机，如果缓存表中不存在，他会向inter发送请求，当获得返回web页面后，将数据发送给客户端的同时保存在缓存表中，方便下次使用。它是利用Linux网关进行代理服务的，因此只需要设置网关即可，不需要指定代理服务器IP。首先必须要有代理客户端，浏览器就可以，需要手工指定代理服务器的IP地址。在/etc/profile添加两行。这里我们用的是3.4.6。
2024-04-06 17:38:20
294
原创 RabbitMQ消息队列的工作模式
使用Routing路由模式时，Exchange与队列也不再进行绑定了，而是通过声明一个RoutingKey，通过这个key将消息路由到特定的队列中，因此在消息发送方发消息时，就需要指定消息的RoutingKey，Routing根据消息中的RoutingKey进行判断，当消息中的RoutingKey与队列中的RoutingKey完全一致时，消息才能正常存储到队列中，最后被消费者处理。简而言之，使用Topic模式后，可以对消息数据中的RoutingKey进行通配符匹配，将满足条件的消息数据分发到特定的队列中。
2024-04-06 01:29:34
416
原创 RocketMQ集群监控平台rocketmq-console
RocketMQ有一个对其扩展的开源项目，这个项目中有一个子模块叫，这个便是管理控制台项目了，先将拉到本地，因为我们需要自己对进行编译打包运行。GitHub地址：https://github.com/apache/rocketmq-externals。
2024-04-06 01:28:31
2730
原创 RockerMQ集群管理工具mqadmin详细目录参数
执行命令时如果使用`-b指定了Broker的地址，又使用-c指定了集群的名称，那么优先以Broker地址获取命令的结果，如果不指定Broker，默认会对集群中所有主机执行命令。：Broker中各个消费者的消费情况，按Message Queue维度返回Consume Offset，Broker Offset，Diff，TImestamp等信息。：指定Cluster名称，表示topic所在集群（集群可通过 clusterList 查询），-b优先，如果没有-b，则对集群中所有Broker执行命令。
2024-04-05 23:57:07
1437
原创 RocketMQ集群的特点以及各种集群模式的介绍
同步模式下的多Master多Slave模式比异步模式效率略低，并且性能也比异步模式消耗要高，因为同步模式Broker收到一条消息，首先会落盘然后同步给Slave，最后再反馈给发送者，而异步模式下，Broker在收到消息的一瞬间就会反馈给发送者消息已收到。同步模式下可以保证消息的可靠性，会保证每一条消息丢失成功进行存储的，而异步模式下，虽然Broker收到消息可以立即反馈，但是数据落盘时如果MQ宕机，发送者已经收到确认的消息的，但是消息其实并没有存储到Broker中，就会导致消息数据存在丢失的现象。
2024-04-05 23:55:22
955
原创 RocketMQ的介绍以及部署
RocketMQ是阿里巴巴开源的一个消息中间件，在阿里内部历经了双十一等很多高并发场景的考验，能够处理亿万级别的消息。2016年开源后捐赠给Apache,现在是Apache的一个顶级项目。目前RocketMQ在阿里云上有一个购买即可用的商业版本，商业版本集成了阿里内部一些更深层次的功能及运维定制。RocketMQ的官网地址: http://rocketmq.apache.orgGithub地址是https://github.com/apache/rocketmq。
2024-04-05 23:09:52
1259
原创 Zookeeper集群部署以及故障测试
1）当ZKServer-1节点启动后，会比较自身的ServerID，目前集群中没有其他节点，因此该节点就认为自己的ServerID是集群中最大的，给自己投一票，但是Leader的选举条件必须是票数超过集群中半数节点，例如三个节点必须至少有2个同意才可以，两个节点的集群中有2票也才可以选举为Leader，由于票数不够的问题，ZkServer-1节点就会处于Follower节点。4）剩下的其余节点在加入集群后，发现已经有Leader节点了，就不会再选举，而是成为Follower节点。
2024-04-05 22:15:19
1351
原创 Zookeeper分布式锁的概念及原理
基于分布式的场景，JVM锁已经远远无法满足了，这时就需要一种统一配置的锁，那就是分布式锁的组件，让所有的程序副本都连接到这个分布式锁组件，由分布式锁提供一个唯一的锁，比如第一个请求到达APP1节点上了，此时APP1就会去分布式锁中取一个锁，让这个请求线程安心处理数据，当数据处理完成后，再将锁还回去，第二个请求进来如果发现锁已经被APP1使用了，那么就会处于等待的状态，当APP1处理完成后，APP2再拿到锁去处理数据。用于所有客户端创建的子节点间进行比较，如果发现自己的子节点编号比较小，那么就获取锁。
2024-04-05 22:10:48
819
原创 Zookeeper的数据结构以及常用命令使用
根目录中存在子目录，子目录中包含子文件，数据都在子文件中存储，而Zookeeper是在根节点下包含很多子节点，但是每一个节点都可以存储自己的一些数据和当前节点的信息，允许存储的数据大小为1M。Zookeeper的数据结构和标准的Unix文件系统类似，都存在一个（/）根，在Unix中数据结构被称为目录（根目录、子目录），而Zookeeper中的数据结构都被称为节点（根节点、子节点）。注意：如果要删除的节点中包含子节点，那么会删除失败，会提示节点不为空，只有当节点中不包含任何子节点时，才可以被删除。
2024-04-05 21:48:22
1913
原创 Zookeeper分布式应用协调软件的核心概念以及部署
Zookeeper是分布式协调服务，Zookeeper是ApacheHadoop项目下的一个子项目，是树形目录服务结构，可以理解为Zookeeper就是来管理分布式应用程序的，简称ZK。Zookeeper自身就是一种分布式的架构，主要为分布式应用程序提供一种协调性服务。Zookeeper公开了一组简单的原语，分布式应用程序可以基于这些原语实现更高级别的同步、配置维护、组和命名服务。它被设计为易于编程，并使用一种数据模型，该模型以熟悉的文件系统目录树结构为样式。
2024-04-05 18:09:58
586
原创 ActiveMQ消息队列主从集群
ActiveMQ主从高可用集群，需要使用Zookeeper集群注册所有的ActiveMQ节点，由Zookeeper实现主备切换时的选举，在主从高可用集群中，只有一个ActiveMQ节点处于工作状态，被视为Master节点，其他的ActiveMQ节点处于待机状态，当主节点挂掉后，Zookeeper会通过选举机制将集群中的某个ActiveMQ节点提升为Master，继续提供服务。模拟ActiveMQ主节点宕机，观察是否会由集群中另外的从节点，升级为主节点。每个节点都有单独的通信地址，故障切换后可以直接切换。
2024-04-05 15:35:23
1017
原创 Prometheus+Grafana全方位监控Kubernetes集群资源利用率
k8s服务发现参考文档： https://prometheus.io/docs/prometheus/latest/configuration/configuration/#kubernetes_sd_config。创建一个ns为prometheus，将除了kube-state-metrics外的yaml中的namespace修改为prometheus。改造思路：在yaml中增加pv、pvc的配置，在将原来的storageclass配置项删除，在120行的volume中增加pvc的配置即可。
2024-04-04 09:15:00
557
原创 使用influxdb支持的稳定协议连接prometheus弃用remote_storage协议
使用remote_storage协议去让prometheus连接influxdb数据库很不稳定，经常出现504数据无法写入influxdb的问题，并且经常无法读取到influxdb数据库的数据，因此我们弃用remote_storage协议，而采用influxdb特定的协议去让prometheus去连接。
2024-04-04 04:15:00
511
原创 prometheus连接influxdb时序数据库实现数据持久化
influxdb简介InfluxDB是一个数据库，旨在处理高写入和查询负载。它是TICK堆栈的组成部分。InfluxDB旨在用作涉及大量带时间戳数据的任何用例的后备存储，包括DevOps监控，应用程序指标，物联网传感器数据和实时分析。以下是InfluxDB目前支持的一些功能，使其成为处理时间序列数据的绝佳选择:专为时间序列数据编写的自定义高性能数据存储。TSM引擎允许高摄取速度和数据压缩完全使用编写,并编译为一个单独的二进制文件.没有额外的依赖简单,高性能的读写HTTP APIS。
2024-04-04 02:30:00
1708
原创 针对prometheus监控系统的influxdb数据库内存优化
以允许无限数量的标签值 如果一个标签值导致一个标签键的标签值超过max-values-per-tag，InfluxDB将不会写入该点，并且会返回部分写入错误。将数据库系数调整成无限制后，引发了新的问题，内存瞬间被influxdb吃光，触发内存oom，influxdb内存使用率高达99%标签值超过max-values-per-tag的所有现有标签键将继续接受写入，但是创建新标签值的写入将失败。某个看granfana上k8s监控数据时，发现其中一个月的数据异常丢失，经过一系列排查后发现，
2024-04-04 01:45:00
1184
原创 AlertManager实现企业微信报警
ALertManager支持的报警方式有邮件报警、钉钉报警、微信报警，本次将实现企业微信报警。将我们写的告警规则的阈值调小即可触发告警，将阈值改为10。由于我们有3台node节点，因此都会发到同一条告警消息中。告警状态为resolved表示问题已解决已经恢复正常。告警状态为resolved表示问题已解决已经恢复正常。告警状态为firing表示问题发生，且没有处理。FIRING状态表示问题发生且已经发送告警。在我的企业—最下面就会有企业id。告警消息极其丰富，特别详细。告警消息极其丰富，特别详细。
2024-04-04 01:00:00
1717
原创 ActiveMQ消息队列消息持久化
消费者从ActiveMQ中接收消息，然后通知ActiveMQ消息已经收到，ActiveMQ会从持久化存储中将消息移除。生产者产生消息后发生到ActiveMQ，ActiveMQ将消息持久化到存储中，然后通知生产者消息已经收到。JAVA开启消息持久化，根据ActiveMQ默认的KahaDB进行持久化数据。MQ有时候会因为某种情况宕机，如果没有进行消息持久化，就会造成数据的丢失，当。ActiveMQ的消息持久化方式在JAVA程序的配置文件中进行配置。消息如果不移除，就会导致消息重复接收。
2024-04-03 23:59:17
626
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人