![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Alexander的鸭梨山大
偶尔分享一些乱七八糟的操作。。。。。。。。
展开
-
【Hadoop】2、HDFS以及HDFS命令
什么是HDFS?HDFS是Hadoop Distributed File System的简写,即分布式文件系统。NameNode负责管理与维护HDFS目录系统并控制文件的读写DataNode负责存储数据对于HDFS的数据存取用cluster集群架构来存储大数据文件,通过Streaming来存取数据集,并且HDFS是批处理,而不是实时互动处理。存取模式是一次写入多次读取(write-on...原创 2019-07-04 18:10:07 · 177 阅读 · 0 评论 -
【Hadoop】3、MapReduce以及WordCount
MapReduce是一种程序开发模式,可以使用大量服务器来进行并行处理。Map分配工作,Reduce将工作结果汇总。运作流程1、Map将数据分割成若干份小数据,由每台服务器分别运行2、Reduce将数据合并,汇总整理结果示例:WordCount计算文件中每个单词出现的次数1、将以下代码复制进WordCount.javaimport java.io.IOException;impo...原创 2019-07-05 16:21:07 · 173 阅读 · 0 评论 -
【Hadoop】1、hadoop单机与分布式安装配置
1、安装系统2、安装jdk:yum install java-1.8.0-openjdk3、安装ssh4、安装rsync5、配置免密ssh:(在root下进行)ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys6、下载安装hadoopwget h...原创 2019-07-01 16:50:42 · 181 阅读 · 0 评论