hdfs
文章平均质量分 84
baiyan_er
这个作者很懒,什么都没留下…
展开
-
hadoop hdfs读写流程和主从架构模式
区块链技术没有中心hdfs 读写流程(1)架构体系 主从模式 (集中式管理)(2)主:namenode 从:datanode(3)缺点:namenode 只有一个datanode有多个,单点故障缺点,这个缺点怎么解决,高可用的方式,副namenode不是secondarynamenode但功能是一样的。(4)当主namenode坏掉了,这个副namenode马上就能接替namenode的工作,而s...原创 2018-04-21 11:29:55 · 1289 阅读 · 0 评论 -
hadoop部署(2)flume配置hdfs
flume 可以显示在控制台上,上篇。接着看下是怎么显示的hdfs上首先启动dfs.shFLUME官网找到hdfs sink接上篇还是编辑aa.conf广州根椐官网上提供的实例将配置文件改成接着ESC shift+z+z 保存退出看下hdfs 有没有生成日志目录生成日志文件:文件大小 和 多长时间生成一个日志文件看下官网flume生成的都有哪些文件类型默认的文件格式是sequenceFile...原创 2018-04-26 22:35:22 · 293 阅读 · 0 评论 -
hadoop-----flume(kafka)
kafka设计模式: 发布定阅它是一个消息中间件,大数据思想,以前用mq,现在用kafka的比较多,但需要学会java,是java编写的,用python也可以,用的比较少, 不参与数据的产生和输出。只提供一个电台的机制,大家到电台发布节目,谁看不关心,谁要看到kafka定阅,而flume到一个地方收数据,一地方送数据。而kafka发数据与收数据需要自己写。kafka发布订阅中间起作用的是proke...原创 2018-04-26 23:44:39 · 412 阅读 · 0 评论