qq_36270681的博客

mysql表结构导入：https://github.com/alibaba/nacos/blob/develop/distribution/conf/nacos-mysql.sql[ec2-user@ip-10-174-2-215 nacos]$ cat nacos-no-pvc-ingress.yaml###使用rds数据库；使用Ingress发布配置后台###---apiVersion: v1kind: Servicemetadata: name: nacos-headless

[root@k8-node2-dc ~]#cat /etc/filebeat/filebeat.yml filebeat.inputs:- type: log enabled: true paths: - /var/lib/docker/containers/*/*.logprocessors:- drop_fields: fields: ["beat","input","source","offset"] output.kafka: enable: true.

同时收集本地系统日志和docker 日志[root@k8-node2-dc ~]#cat /etc/filebeat/filebeat.yml filebeat.inputs:- type: log enabled: true paths: - /var/log/*.log - /var/log/messages tags: ["system-log-239"] exclude_lines: ['^DBG','^$']- type: log ena.

由于测试和开发环境不需要用到es 集群，也为了节省服务器资源，我这里采用es 单节点部署---- hosts: es vars: remote_user: root gather_facts: false tasks: - name: 分发es rpm 包 copy: src=pkg/elasticsearch-7.6.2-x86_64.rpm dest=/root - name: 安装es yum: name=elasticsearch-7.6.

es 集群起不来，无法写入数据，查看集群状态为 黄色查看日志Caused by: org.elasticsearch.action.search.SearchPhaseExecutionException: Search rejected due to missing shards [[.kibana_task_manager_1][0]]. Consider using `allow_partial_search_results` setting to bypass this error. .

[root@localhost rabbitmq-data]# cat /root/mq.sh #!/bin/bashdocker run -d -p 5671:5671 -p 5672:5672 -p 15672:15672 -p 15671:15671 -v /data/rabbitmq-data/:/var/rabbitmq/lib -e RABBITMQ_DEFAULT_USER=admin -e RABBITMQ_DEFAULT_PASS=admin --name rabbitm.

nohup ./redis_exporter -redis.addr 192.168.1.136:6379 --redis.password=1ZdqlgWBfw --web.listen-address=:9121 &nohup ./redis_exporter -redis.addr 192.168.1.136:6379 --redis.password=pMnr3glckd7iu2pF --web.listen-address=:9122 &

<mirrors> <!-- mirror | Specifies a repository mirror site to use instead of a given repository. The repository that | this mirror serves has an ID that matches the mirrorOf element of this mirror. IDs are used | for inheritan..

/usr/local/php/etc/php-fpm.conf根据说明我们知道这个参数的含义是php-fpm工作进程处理完多少请求后自动重启，主要目的就是为了控制请求处理过程中的内存溢出，使得内存占用在一个可接受的范围内。从这里我们感觉这个数字似乎设置的小一点更加有利于性能提升，但是当这个数字非常小的时候会发生一种情况，由于PHP请求是平均地分配给各个工作进程的，如果这个值太小就会导致所有的工作进程几乎同时达到这个值并且进入需要重启的状态，当所有的工作进程都在同一时刻重启就会发生在数秒内甚至更长的时间P

[root@dc-uat-13 ~]# curl -s 'http://10.1.1.242:9201/_cat/indices/?v' |awk '{print $3}' | grep syslogs.*20210410syslogs-external-oms-20210410syslogs-task-scheduler-20210410syslogs-pay-echo-20210410syslogs-edu-service-course-20210410syslogs-external-.

1，安装screenyum install screen -y2，创建一个新窗口testscreen -S test3，运行程序php -ftime_push.php4,挂起窗口CTRL+a然后d5，查看[root@dp-uat push]# screen -lsThere are screens on: 11202.test1 (Detach...

[root@node2 ~]# rabbitmqctl join_cluster --ram rabbit@node1Clustering node rabbit@node2 with rabbit@node1 ...Error: mnesia_unexpectedly_running[root@node2 ~]# rabbitmqctl stop_app Stopping node rabbit@node2 ......done.[root@node2 ~]# rabbitmqctl joi.

1，环境要求环境Maven3+ Jdk1.8+ Mysql5.7+ 我的环境采用的mysql 8.0 maven 3.0 openjdk1.8 虚拟机 10.1.234.141 10.1.234.142 10.1.234.143yum -y install java-1.8.0-openjdkyum -y install maven[root@linux-host1 ~]# mvn -vApache Maven 3.0.5 (Red Hat 3.0...

登录kibna 显示没有匹配搜索条件的空间 ，无法查看es 数据重启kibana 正常

[root@linux-host1 ~]# curl -XPUT "http://10.1.1.248:9201/_settings" -H 'Content-Type: application/json' -d' {> "index" : {> "highlight.max_analyzed_offset" : 100000000> }> }'{"error":{"root_cause":[{"type":"circuit_breakin.

Elasticsearch 集群状态是黄色报错 Unassigned，副本状态不同步导致，删除不同步的索引，集群立即恢复正常使用Elasticsearch-head 可以明确的看出有的索引 带灰色的就删除掉[root@dc-uat-13 ~]# cat es_index_rm.sh #!/bin/bashDATE=`date -d "20 days ago" +%Y%m%d`#INDEX="#syslogs#"INDEX=` curl -XGET 'http://10.1.1.2.

可以看到有很多索引，但是创建是可以创建的，但是点击查看的时候没有添加成功没有任何报错，遇到这种情况我第一想到的就是重启服务。没错重启完就好了

1，下载，我的elasticsearch 版本是 7.6.2 所以下载相应版本的elasticsearch-analysis-pinyinhttps://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v7.6.2/elasticsearch-analysis-pinyin-7.6.2.zipcd /usr/share/elasticsearch/pluginsmkdir pinyin wget...

1，下载，我的elasticsearch 版本是 7.6.2 所以下载相应版本的ikhttps://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zipcd /usr/share/elasticsearch/pluginsmkdir ikwget https://github.com/medcl/elasticsearch-a..

安装包下载网站：https://help.sonatype.com/repomanager3/download/download-archives---repository-manager-3本次使用版本：3.24.0-02http://download.sonatype.com/nexus/3/nexus-3.24.0-02-unix.tar.gz浏览器下载不下来，使用迅雷下载就ok了...

[root@elk_120 ~]# grep -v "#" /etc/filebeat/filebeat.yml | grep -v "^$"filebeat.inputs:- type: log paths: - /var/log/*.log - /var/log/messages fields: type: "systemlog" log_topic: "systemlog-1512-filebeat" fields_under_root: true .

#编辑Logstash配置文件[root@elkstack03 ~]# vim /etc/logstash/conf.d/java.confinput { stdin { codec => multiline {#当遇到[开头的行时候将多行进行合并 pattern => "^\["#true为匹配成功进行操作，false为不成功进行操作 negate => true#与上面的行合并，如果是下面的行合并就是next.

这里我们用kafka做中间件，安装看前几篇1,logstash把日志输入到kafka集群[root@elk_120 conf.d]# cat nginx-kafka.conf input { file { path => "/var/log/nginx/access.log" start_position => "beginning" type => "nginx-accesslog-1512" codec => "json" }}output { i.

1,添加root 用户2，删除用户3,权限配置(只读)

https://www.cnblogs.com/vijayfly/p/6763127.html

1，错误原因：索引偏移量默认是100000，超过了报错内容：[syslogs] index has exceeded [1000000]解决：curl -XPUT "http://10.1.1.242:9201/_settings" -H 'Content-Type: application/json' -d' { "index" : { "highlight.max_analyzed_offset" : 100000000 }}'...

相比logstash使用java程序，会占用较大的内存，几百M，还要安装jdk环境，filebeat更轻量级，，内存十多M，使用go写的天生支持多线程，专门收集日志文件数据，常用于容器日志收集web1 tomcat + logstash => redis （主从，vip） => 负载均衡 logstash => 负载均衡es（haproxy）=> es Cluster=> kibana第一步：web1 把日志写入redis[root@...

logstash: 输入配置（input plugins）：数据的输入源input { stdin { } file { path => "/var/log/syslog" } kafka { }} 输出配置：把数据收集到logstash。下一步就是把日志输出到哪些地方

收集tomcat 日志1.修改tomcat 配置文件，修改输出日志格式 <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs" prefix="tomcat_access_log" suffix=".log"pattern="{&quot;clientip&quot;:&quot;%h&quot;,&a...

物理机（推荐配置）：（3,5,7）在多拆业务多搭几套cpu：e5 2640 v3 *2内存：64 推荐30G（官方）磁盘：I/O 足够 空间够大 raid 10 推荐 10Kelasticsearch 在7.x 之前，都需要安装JDK环境elasticsearch在7.x开始，单独提供内置的JDK的安装包，如果下载的是NO JDK 的安装包，则需要安装JDK 环境...

kafka和rabbitmq 的区别，rabbitmq 是针对业务的，kafka是针对大数据和日志kafka简介： topic：kafka在逻辑上对生产的数据进行分组保存 分区：为了实现kafka的高性能和高可用，我们可以指定一个topic的分区数量，通常分区数不会高于kafka的节点数 每个分区都会有有一个broker（kafka节点作为leader） 我们至少要为一个分区提供一个备份节点（followor），follo...

zookeeper2大特征：客户端如果对zookeeper的一个数据节点注册watcher监听，那么当改数据节点的内容或是其子节点列表发生变更时，zookeeper服务器就会向订阅的客户端发送变更通知对在zookeeper上创建的临时节点，一旦客户端与服务器之间的会话失效，那么该临时节点也就被自动清除zookeeper集群：（消息先进先出原则，管道）在abc3个节点，会有一个（主）leader 角色负责写数据，从节点（follower）如果客户端连接的不是主（leader）节点，那么这个节点

1，初始化系统，请看上篇2，涉及到的文件[root@aghj-11 rabbitmq]# ll -la总用量 20drwxr-xr-x 2 root root 101 5月 18 20:48 .drwxr-xr-x 9 root root 100 5月 18 18:00 ..-rw-r--r-- 1 root root 265 5月 18 20:48 add_node.yaml-r-------- 1 root root 20 5月 18 19:48 .erlang.cooki