大数据系统运维笔记
文章平均质量分 67
RangeYan2012
欢迎大家与我交流技术问题!我的QQ:332478640
展开
-
kafka运维--集群扩容后手动Rebalance topic
kafka运维--集群扩容后手动Rebalance topic原创 2016-11-18 17:22:56 · 5325 阅读 · 0 评论 -
flume配置-生产环境下 Taildir Source to kafka Sink
生产环境下用flume搜集后端系统产产生的日志,并写入kafka集群,可以参照下面配置。clog.sources = source_logclog.channels = channel_logclog.sinks = sink_log1 sink_log2 sink_log3 clog.sources.source_log.type = TAILDIRclog.sources.sou原创 2017-01-03 12:07:13 · 5651 阅读 · 3 评论 -
Kafka踩坑 - Couldn't find leaders for Set
SparkStreaming程序从Kafka读数据的程序运行期间报了如下异常:org.apache.spark.SparkException: ArrayBuffer(org.apache.spark.SparkException: Couldn't find leaders for Set这个异常意思是Spark找不到partition的Leader。查看监控后发现,在异常发生的时间点原创 2017-01-03 15:50:21 · 15146 阅读 · 3 评论 -
Hbase踩坑-pre-splitting
问题描述:线上程序在写hbase时,hbase有时候会挂掉。问题详细现象:程序写hbase时写压力都集中到某一个region server上。基于以上现象研究了hbase region split机制。在默认情况下hbase会根据自动splitting机制进行region分片。当一个table刚被创建的时候,Hbase默认的分配一个region给table。也就是说这个时候,所有的读写请求原创 2017-01-03 19:46:43 · 4449 阅读 · 0 评论 -
flume配置-生产环境下从文件目录下将日志上传到s3
生产环境下将收集到的日志上传至s3,采用多个spoolDir soure 和多个hdfs sink的方式是为了提高读取数据,上传数据的吞吐量。clog.sources = source_log1 source_log2 clog.channels = channel_logclog.sinks = sink_log1 sink_log2 sink_log3 sink_log4 si原创 2016-12-28 10:57:04 · 3628 阅读 · 0 评论 -
kafka运维--增加topic备份因子
上篇文章将了怎样优化kafka配置,其中提到了kafka集群topic的默认备份因子参数default.replication.factor。如果想针对某一个或者多个topic,增加备份因子参照下面步骤进行。1. 创建一个需要增加备份因子的topic列表的文件,文件格式是json格式的(跟【kafka运维--集群扩容后手动Rebalance topic】文章中rebalan原创 2016-12-20 12:09:31 · 4741 阅读 · 1 评论 -
Aerospike数据库实战(四) -- Aerospike 安装部署
1 Aerospike Databases部署前准备工作尽量不要对ssd做RAID,RAID控制器会带来不必要的延迟如果必须做RAID,建议每块盘单独做RAID0。如果做了RAID,需要利用 LSI Mega CL 进行一些优化设置。参考:LSI Mega CLI: [[http://www.aerospike.com/docs/operations/plan/ssd/lsi_megacl原创 2017-01-09 14:37:19 · 5617 阅读 · 0 评论 -
Aerospike数据库实战(六) -- 踩坑&经验总结
问题1:Aerospike集群同时扩容两个节点时,集群可能会出现意外情况。经验教训:从Aerospkie社区找到官方回复,Aerospike扩容时每次只能扩容一个节点。扩容方法是将新增节点UDP组播地址和端口配置成跟现有集群组播地址一致。同时扩容一个以上节点时,会出现意想不到的情况。问题2:Aerospike集群扩容过程中需要五分钟左右的时间同步节点信息、重启分配Par原创 2017-01-11 10:30:55 · 4662 阅读 · 0 评论