weixin_42042307-CSDN博客

原创 grafana+prometheus+mysql_exporter 监控mysql

grafana+prometheus+mysql_exporter 监控mysql欢迎关注公众号【走在大数据架构路上的笔】一起交流！下载mysqld_exporter45645 2020-12-23 10:25:02 wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.10.0/mysqld_exporter-0.10.0.linux-amd64.tar.gz解压tar -xvf mysqld_

2021-02-03 12:39:52 600

原创记一次因es节点inode目录空间打满，导致spark写es报request time out问题解决

spark写es报request time out问题解决欢迎关注公众号【走在大数据架构路上的笔】，一起踩坑，一起成长！解决思路:1、查看es集群状态curl -XGET "http://username:password@ip:port/_cluster/health?pretty&level=shards"2、发现状态为red{ "cluster_name" : "es-cluster", "status" : "red", "timed_out" : false,

2021-01-31 16:24:23 672

原创 clickhouse性能测试

clickhouse性能测试准备集群环境建表CREATE TABLE test.ontime ON CLUSTER yc_clickhouse \( Year UInt16, \ Quarter UInt8, \ Month UInt8, \ DayofMonth UInt8, \ DayOfWeek UInt8, \ FlightDate Date, \ UniqueCarrier FixedString(7), \ AirlineID In

2021-01-27 12:36:49 761

原创 clickhouse安装部署

clickhouse安装部署环境要求Clickhouse 仅支持Linux 且必须支持SSE4.2 指令集grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"得出下列结果SSE 4.2 supported如果服务器不支持SSE指令集，则不能直接下载预编译安装包，需要通过源码编译特定版本进行安装systemctl stop firewalld.servi

2021-01-27 12:35:50 159

原创 Hbase协处理器使用总结

Hbase协处理器使用总结使用背景使用hbase同步数据到es，每次hbase客户端发送put请求后，触发协处理器将数据同步到es。版本介绍jdk版本：1.8hbase版本：1.2.0es版本：6.8.5hadoop版本： 2.6.0话不多说，直接上代码。有关协处理器了解请参考底部官网连接和相关博客。pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.a

2021-01-25 18:38:37 401

原创 Nginx集成 lua-nginx-module

1.软件版本系统版本：CentOS Linux release 7.3.1611 (Core)nginx版本：nginx-1.11.10nginx-lua-moudle版本：lua-nginx-module 0.10.72.环境准备安装编译所需的依赖yum -y install gcc gcc-c++ make libtool zlib zlib-devel openssl openssl-devel pcre pcre-devel3.软件安装编译安装nginxwget ht

2021-01-24 14:36:52 300 4

原创 flume采集数据到hdfs、kafka配置文件

flume采集数据到hdfs、kafka配置文件执行命令nohup bin/flume-ng agent -n a10 -c conf/ -f ./conf/server/flume-taildir-kafka.conf -Dflume.root.logger=INFO,console >> ./logs/fflume-taildir-kafka.log 2>&1 &采集日志文件到kafkaflume-taildir-kafka.conf#agenta

2021-01-24 14:32:46 343

原创 Flume安装配置

Flume安装配置1、上传安装包，解压2、修改配置文件cd /root/apps/apache-flume-1.6.0-bin/confcp flume-env.sh.template ./flume-env.shvi flume-env.sh只用修改JAVA_HOME=jdk目录可以输入命令：:r! echo /root/apps/jdk1.8.0_603、在apache-flume-1.6.0-bin目录下，建文件夹myconf，在myconf中创建文件netcat-conso

2021-01-23 20:26:06 99

weixin_42042307的博客