- 博客(4)
- 收藏
- 关注
转载 kafka的分区数设置
越多的分区可以提供更高的吞吐量 首先我们需要明白以下事实:在kafka中,单个patition是kafka并行操作的最小单元。在producer和broker端,向每一个分区写入数据是可以完全并行化的,此时,可以通过加大硬件资源的利用率来提升系统的吞吐量,例如对数据进行压缩。在cons...
2019-07-04 11:31:00 3566
转载 hdfs命令
文档地址:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径...
2018-11-20 17:15:00 213
转载 配置
#################consumer的配置参数(开始)################# #如果'enable.auto.commit'为true,则消费者偏移自动提交给Kafka的频率(以毫秒为单位),默认值为5000。 spring.kafka.consumer.auto-c...
2018-11-19 19:51:00 454
转载 hdfs常用命令
1. 文件操作 (1) 列出HDFS下的文件 /usr/local/hadoop$bin/hadoop dfs -ls (2) 列出HDFS文件下名为in的文档中的文件 /usr/local/hadoop$bin/hadoop dfs -ls in (3) 上传文件 将hadoo...
2018-11-16 10:37:00 123
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人