Rachel的博客

1：官网中有给出详细的操作步骤，可以查看如下链接：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html2：hdfs-site.xml中的配置以及解释： <!--高可用集群的相关配置 --><configuration...

 解决问题：        海量数据的存储    ->    分布式架构设计         分布式-特点：集群，多台机器共同协作完成                               主从架构设计    1.namenode - 主节点 - 领导        存储文件的元数据包括的内容如下：>>>文件的名称>>>文件的位置...

1：下载Hadoop。可以下载CDH版本，还有普通版本。他们的区别在与CDH在版本兼容方面出色CDH版本的下载地址为：http://archive.cloudera.com/cdh5/cdh/5/普通hadoop的下载地址：http://archive.apache.org/dist/hadoop/core/可以选择用wget在linux中下载，也可以选择下载到windows目...

Spark Streaming处理kafka的数据落地HDFS背景生产上项目的数据从上游kafka topic下发过来，经过spark Streaming简单清洗处理后，下发到下一个kafka topic中，目前需要将清洗处理好的数据，按小时分区落地到HDFS上。要求，如果当前落地HDFS的程序断了，能按照消息下发kafka topic 的时间进行分区。实现思路1：在下发的kafka t...