- 博客(5)
- 收藏
- 关注
RSS订阅转载 Kafka主要参数详解
http://kafka.apache.org/documentation.html ############################# System ############################# #唯一标识在集群中的ID，要求是正数。 broker.id=0 #服务端口，默认9092 port=9092 #监听地址，不设为
2016-06-27 15:40:28
1254
转载 写hdfs的API
HDFS设计之处并不支持给文件追加内容，这样的设计是有其背景的（如果想了解更多关于HDFS的append的曲折实现，可以参考《File Appends in HDFS》：http://blog.cloudera.com/blog/2009/07/file-appends-in-hdfs/），但从HDFS2.x开始支持给文件追加内容，可以参见https://issues.apache.org/jir
2016-06-21 22:03:06
284
转载 apache kafka系列之kafka.common.ConsumerRebalanceFailedException异常解决办法
kafka.common.ConsumerRebalanceFailedException :log-push-record-consumer-group_mobile-pushremind02.lf.xxx.com-1399456594831-99f15e63 can't rebalance after 3 retries at kafka.consumer.ZookeeperConsumer
2016-06-21 16:50:57
1199
转载 hbase的计数器
需求： 每天会增量导入一批用户的uuid列表数据，也许会有几千万。计算这些用户的留存率的时候要与昨天的uuid列表做join取交集得到数量。当然join的效率是很低的。 所以考虑存hbase，设计成宽表，一张表存60个列，分别是第一天到第60天。拿到每天的uuid时候存入hbase，rowkey是accountId+appId+年月+uuid，当rowdy不存在时新增一条数据，当rowkey相
2016-06-16 21:38:05
2544
转载 Hadoop 组件HDFS详解
概念 HDFS HDFS（Hadoop Distributed FileSystem）是一种专门为MapReduce这类框架下的大规模分布式数据处理而设计的文件系统。可以把一个大数据集（100TB）在HDFS中存储为单个文件，大多数其他的文件系统无力实现这一点。 数据块（block） HDFS（Hadoop Distributed FileSystem）默认的最基本的存储单位是64M的
2016-06-05 17:11:10
4399
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人