Hadoop伪分布式配置

Hadoop伪分布式配置

Hadoop三种安装模式分别为单机模式，伪分布式，真正分布式，我选择的是伪分布式模式。
Hadoop伪分布式：一个节点

环境

1、阿里云服务器
2、xshell,xftp6
3、jdk-8u121-linux-x64
4、hadoop-2.7.3
（以下操作在xhell中完成）

主要步骤

一、关闭防火墙
1、systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙
2、firewall-cmd --state 显示防火墙状态running/not running

二、安装配置jdk/hadoop
1、将下载好的JDK、HADOOP通过xftp传入xshell

2、解压JDK、HADOOP
tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module 解压安装
tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module 解压安装

3、配置jdk
vi /etc/profile文件添加：
export JAVA_HOME=/opt/module/jdk1.8.0_121
export PATH=$JAV{A}_{H}OME/bin:$PATH
source /etc/profile配置生效
javac检验是否成功

4、配置Hadoop
vi /etc/profile文件添加：
export HADOOP_HOME=/opt/module/hadoop-2.7.3
export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH
Esc :wq!保存并退出。
source /etc/profile配置生效
hadoop检验是否成功

5.本地模式配置hadoop -env.sh
vi /opt/module/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件修改
显示行号 Esc :set number 取消行号Esc :set nonumber
修改第25行export JAVA_HOME=/opt/module/jdk1.8.0_121
Esc :wq!保存并退出
本地模式没有HDFS和Yarn，配置JDK后MapReduce能够运行java程序。

Hadoop伪分布式配置

有一台虚拟机，完成4个文件的配置
1、core-site.xml`

<!--配置HDFS主节点，namenode的地址，9000是RPC通信端口-->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata128:9000</value>
</property>
<!--配置HDFS数据块和元数据保存的目录，一定要修改-->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.3/tmp</value>
</property> 

2、hdfs-site.xml

<!--注释配置数据块的冗余度，默认是3-->			 
<property>		 
	     <name>dfs.replication</name>		 
	     <value>1</value>		 
</property>		
<!--secondaryNameNode的主机地址--> 
<property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>bigdata129:50090</value>
</property>

3、mapred-site.xml(该配置文件不存在，先复制)
cp mapred-site.xml.template mapred-site.xml

<!--配置MR程序运行的框架-->			 
<property>			 
	  <name>mapreduce.framework.name</name> 
	  <value>yarn</value> 
</property>	 

4、yarn-site.xml

<!--配置Yarn的节点-->			 
<property>			 
	  <name>yarn.resourcemanager.hostname</name> 
	  <value>bigdata128</value> 
</property>	 
<!--NodeManager执行MR任务的方式是Shuffle洗牌-->			 
<property>	 
	  <name>yarn.nodemanager.aux-services</name> 
	  <value>mapreduce_shuffle</value> 
</property>	 

格式化： hdfs namenode -format
启动： start-all.sh
启动成功后运行jps命令，出现六个节点则说明配置成功
主机ip:50070显示网页

hadoop 词频统计

一、先写words文件
1、touch words创建文档
2、vim words编辑文字
3、more words查看文档

二、再将words上传到hdfs中，可以直接运行
bin/hadoop fs -put /opt/module/words指定文件路径 /words目标路
完成操作后在网页上查看词频统计