- 博客(4)
- 收藏
- 关注
RSS订阅转载 kafka的分区数设置
越多的分区可以提供更高的吞吐量 首先我们需要明白以下事实：在kafka中，单个patition是kafka并行操作的最小单元。在producer和broker端，向每一个分区写入数据是可以完全并行化的，此时，可以通过加大硬件资源的利用率来提升系统的吞吐量，例如对数据进行压缩。在cons...
2019-07-04 11:31:00
3553
转载 hdfs命令
文档地址：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径...
2018-11-20 17:15:00
204
转载 配置
#################consumer的配置参数（开始）################# #如果'enable.auto.commit'为true，则消费者偏移自动提交给Kafka的频率（以毫秒为单位），默认值为5000。 spring.kafka.consumer.auto-c...
2018-11-19 19:51:00
441
转载 hdfs常用命令
1. 文件操作 (1) 列出HDFS下的文件 /usr/local/hadoop$bin/hadoop dfs -ls (2) 列出HDFS文件下名为in的文档中的文件 /usr/local/hadoop$bin/hadoop dfs -ls in (3) 上传文件 将hadoo...
2018-11-16 10:37:00
117
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人