大数据
文章平均质量分 57
Briant996
拒绝八股,实践出真知
展开
-
elk架构生产实际使用
架构图一台目标机器3个g数据量,集群每天处理n*3 G的数据量,支持上百台目标机器数据收集,处理的数据大部分为时序数据,kafka集群用单分区保证有序性,若增加分区,可进一步提升数据的吞吐量。架构组件解析生产者端:目标机器为真实业务数据,采集端采集业务数据日志、服务器网络、io、cpu、内存、硬盘等信息,通过filebeat生产者运输至kafka,并自动生成单分区topic(kafka配置,保证日志的时序性,否则日志容易产生错乱)。消费者端:logstash多实例组成一个统一消费者组(l原创 2021-03-27 17:22:11 · 253 阅读 · 0 评论 -
kafka 常用脚本命令查询
./kafka-console-consumer.sh --bootstrap-server ip:9092 --topic hoststatic --from-beginning //从头查看某数据./kafka-topics.sh --list --zookeeper localhost:32181 //查看topic 情况,查看分区情况./kafka-console-consumer.sh --bootstrap-server ip:9092 --topic insight_agent_r..原创 2021-03-27 15:12:45 · 464 阅读 · 0 评论 -
elasticsearch6.x curl 增删查改
创建索引curl -H "Content-Type: application/json" -XPUT http://127.0.0.1:9200/index2 -d '{ "settings" : { "number_of_shards" : 4, "number_of_replicas" : 0 }, "mappings" : { "properties" : { "field1" : { ...原创 2020-09-11 09:09:11 · 476 阅读 · 0 评论 -
学习zookepper
zookeepper用来管理调度分布式软件的数据,管理节点是一颗树,其节点称作为znode,可以用来存储数据,但是最大不能超过1M每个节点称为一个znode. 每个znode由3部分组成:1.stat:此为状态信息, 描述该znode的版本, 权限等信息.2.data:与该znode关联的数据.3.children:该znode下的子节点.znode具有以下属性,具有(1)watcher接口 当节点数据发生增删改时,发现消给客户端的watch,watch只能触发一次。...原创 2020-08-06 09:00:50 · 134 阅读 · 0 评论