- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 Kafka学习整理五(Consumer配置)
http://blog.csdn.net/louisliaoxh/article/details/51516070
2017-09-11 16:26:54
377
转载 为什么需要Secondary Index
对于HBase而言，如果想精确地定位到某行记录，唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据，就必须逐行地比较每一列的值，即全表扫瞄。对于较大的表，全表扫瞄的代价是不可接受的。但是，很多情况下，需要从多个角度查询数据。例如，在定位某个人的时候，可以通过姓名、身份证号、学籍号等不同的角度来查询，要想把这么多角度的数据都放到rowkey中几乎不可能（业务的灵活性不允许，对r
2017-09-11 10:37:31
3362
转载 深入HBase架构解析（一）
前记公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文嚼字，太麻烦，因而本文大部分使用了自己的语言，并且加入了其他资源的参考理解以及本人自己读源码时对其的理解，属于半翻译、半原创吧。HBase架构组成HBase采
2017-09-08 17:04:54
232
转载 ES监控(持续更新) .
How to monitor Elasticsearch performance https://www.datadoghq.com/blog/monitor-elasticsearch-performance-metrics/How to collect Elasticsearch metrics https://www.datadoghq.com/blog/collect-elas
2017-09-08 11:44:23
1262
转载 针对Logstash吞吐量一次优化 .
Logstash性能优化：场景： 部署节点配置极其牛逼（三台 48核 256G内存 万兆网卡的机器），ES性能未达到瓶颈，而filebeat又有源源不断的日志在推送（日志堆积），此时却发现ES吞吐量怎么也上不去，基本卡在单logstash 7000/s 的吞吐。 这时候我们基本确定瓶颈在logstash上。logstash部署在服务端，主要处理接收fil
2017-09-08 09:21:30
3305
转载 ElasticSearch 2 (12) - Shard数调优（ElasticSearch性能）
摘要当创建一个索引的时候，我们经常会面对一个问题：要为索引分配多少个shard？多少个replica？对于这个问题，仍然没有明确的统一答案，但是本文会给出一些引导，方便在实施ElasticSearch时给出合适的Shard和Replica数。版本elasticsearch版本: elasticsearch-2.x内容什么是一个Shard？Shar
2017-09-07 17:27:27
1641
转载 Elasticsearch关于unassigned shards的查看
使用ES时经常会在索引上出问题，总结一些小tips，以后遇到什么问题，以及相应的解决方案，都会慢慢增加。关于unassigned shards的问题，一般遇到这种情况都是——重启试试。因为可能是网络通信问题会影响分片分配。另外也可以看看日志，报了什么错，有遇到过硬盘了满了或者超过85%的限制导致不能分配分片的情况，具体问题具体分析。不行的话，只能强制删除。
2017-09-07 17:05:43
2550
转载 ZooKeeper客户端 和服务器连接时版本问题
在使用kafka 和zookeeper 实现实时分析程序时，由于zookeeper部署版本和分析程序导入jar包的版本不一致，导致了当实时分析程序从远程服务器连接kafka集群的zookeeper时报错，错误信息如下： 2012-12-31 10:51:41,562-[TS] INFO main-EventThread org.I0Itec.zkclient.ZkClient - zoo
2017-09-03 18:20:47
912
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人