hadoop单机+伪分布安装配置

Hadoop 单机安装
Hadoop、jdk安装包

1.创建hadoop用户（设置完毕退出以hadoop用户进入）

2.更新apt

3.安装vim（遇到y回车）

4.安装ssh、配置ssh无密码登录
sudo apt-get install openssh-server

安装后，使用ssh localhost登录本机：

生成秘钥：

*1.exit # 退出刚才的 ssh localhost
2.cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
3.ssh-keygen -t rsa # 会有提示，都按回车就可以
4.cat ./id_rsa.pub >> ./authorized_keys # 加入授权*

在用ssh localhost命令直接登录：

5.安装java环境：
安装jdk

执行如下命令名，创建目录：

*cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入hadoop用户的主目录
cd Downloads #注意区分大小写字母，刚才已经通过FTP软件把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下*

设置环境变量：

cd ~
vim ~/.bashrc

使用vim编辑器在开头添加以下内容：

*export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH*

保存退出 wq ，执行一下命令使.bashrc文件配置生效：
source ~/.bashrc

至此，查看jdk安装是否成功：
java -version

安装hadoop:

下载：http://mirror.bit.edu.cn/apache/hadoop/common/
1.将hadoop安装到 /usr/local:

*sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop # 修改文件权限*

hadoop解压后即可使用。输入一下命令检查hadoop是否可用，成功会显示hadoop版本信息：

cd /usr/local/hadoop
./bin/hadoop version

Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。

Hadoop伪分布安装
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

1.修改配置文件 core-site.xml (gedit ./etc/hadoop/core-site.xml)
改变

<configuration>
</configuration>

为：

1.<configuration>
2.<property>
3.<name>hadoop.tmp.dir</name>
4.<value>file:/usr/local/hadoop/tmp</value>
5.<description>Abase for other temporary directories.</description>
6.</property>
7.<property>
8.<name>fs.defaultFS</name>
9.<value>hdfs://localhost:9000</value>
10.</property>
11.</configuration>

同时修改hdfs-site.xml:

1.<configuration>
2.<property>
3.<name>dfs.replication</name>
4.<value>1</value>
5.</property>
6.<property>
7.<name>dfs.namenode.name.dir</name>
8.<value>file:/usr/local/hadoop/tmp/dfs/name</value>
9.</property>
10.<property>
11.<name>dfs.datanode.data.dir</name>
12.<value>file:/usr/local/hadoop/tmp/dfs/data</value>
13.</property>
14.</configuration>

配置完成，执行NameNode的格式化：

*1.cd /usr/local/hadoop
2../bin/hdfs namenode -format*

显示 “successfully formatted” 和 “Exitting with status 0” 的提示，便成功了，否则显示 “Exitting with status 1” 就是出错。

开启NameNode 、DataNode守护进程：

1.cd /usr/local/hadoop
2…/sbin/start-dfs.sh #start-dfs.sh是个完整的可执行文件，中间没有空格

输入jps判断是否启动成功：
（若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”（如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试）。如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因）

成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

关闭节点：

YARN：YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用性、高扩展性，YARN 的更多介绍在此不展开，有兴趣的可查阅相关资料。
上述通过 ./sbin/start-dfs.sh 启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。

1.修改配置文件 mapred-site.xml，首先进行重命名：
1.mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

同样私用gedit ./etc/hadoop/mapred-site.xml
修改为：

1.<configuration>
2.<property>
3.<name>mapreduce.framework.name</name>
4.<value>yarn</value>
5.</property>
6.</configuration>

修改配置文件 yarn-site.xml：

1.<configuration>
2.<property>
3.<name>yarn.nodemanager.aux-services</name>
4.<value>mapreduce_shuffle</value>
5.</property>
6.</configuration>

启动YARN ,先执行 ./sbin/start-dfs.sh

1 ./sbin/start-yarn.sh# 启动YARN
2 ./sbin/mr-jobhistory-daemon.sh start historyserver# 开启历史服务器，才能在Web中查看任务运行情况

开启后通过 jps 查看，可以看到多了 NodeManager 和 ResourceManager 两个后台进程，如下图所示。

启动 YARN 之后，运行实例的方法还是一样的，仅仅是资源管理方式、任务调度不同。观察日志信息可以发现，不启用 YARN 时，是 “mapred.LocalJobRunner” 在跑任务，启用 YARN 之后，是 “mapred.YARNRunner” 在跑任务。启动 YARN 有个好处是可以通过 Web 界面查看任务的运行情况：，如下图所示。
local:8088/cluster