Hadoop伪分布式部署

Hadoop伪分布式部署

1.安装jdk环境(此处为jdk1.8环境)

2.安装ssh，设置免密登陆

3.下载hadoop-cdh（此处用hadoop-2.6.0-cdh5.7.0这个版本）

4.启动HDFS

5.停止HDFS

配置Hadoop的环境变量

---

1.安装jdk环境(此处为jdk1.8环境)

    1.1 下载jdk

[root@lailai ~]# wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz

    1.2 解压

[root@lailai ~]# tar -zxvf jdk-8u181-linux-x64.tar.gz

    1.3 添加到系统环境变量中：（~/.bash_profile）

export JAVA_HOME=jdk所在路径
export PATH=$JAVA_HOME/bin:$PATH

    1.4 使文件生效，并检查jdk是否安装成功

[root@lailai ~]# source ~/.bash_profile
[root@lailai ~]# java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)
[root@lailai ~]# 

2.安装ssh，设置免密登陆

Ubuntu系统：

[root@lailai ~]# sudo apt-get install ssh
[root@lailai ~]# sudu apt-get install rsync

 

centos系统

[root@lailai ~]# sudo yum install ssh

 

设置免密登陆

[root@lailai ~]# ssh-keygen -t rsa
[root@lailai ~]# cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 

 

测试是否成功（如果登录不需要密码，则成功）

[root@lailai ~]# ssh localhost

 

3.下载hadoop-cdh（此处用hadoop-2.6.0-cdh5.7.0这个版本）

下载hadoop-cdh

[root@lailai ~]#  wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

解压hadoop-cdh

[root@lailai ~]# tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz

hadoop配置文件的修改（/hadoop-2.6.0-cdh5.7.0/etc/hadoop）

     hadoop-env.sh：

export JAVA_HOME=jdk所在目录

    core-site.xml:

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://localhost:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/hadoop/tmp</value>
</property>
<property>
    <name>hadoop.proxyuser.busuanzi.hosts</name>
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.busuanzi.groups</name>
	<value>*</value>
</property>

     hdfs-site.xml:

<property>
	<name>dfs.namenode.name.dir</name>
	<value>/home/hadoop/hdfs/name/</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop/hdfs/data/</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

4.启动HDFS

格式化文件系统（在/hadoop-2.6.0-cdh5.7.0/bin执行，仅第一次执行，不要重复执行）：

[root@lailai bin]# hdfs namenode -format 

启动hdfs（在/hadoop-2.6.0-cdh5.7.0/sbin执行）：

[root@lailai sbin]# ./start-dfs.sh

启动后，可通过jps命令查看是否启动成功：

[root@lailai sbin]# jps
32306 NameNode
32388 DataNode
32565 SecondaryNameNode
3228 Jps
[root@lailai sbin]# 

如果输出的进程如上，则启动成功，

若启动失败，则可以在/hadoop-2.6.0-cdh5.7.0/logs/hadoop-hadoop-namenode-root.log中查看输入日志，根据error信息寻找配置问题。

也可以通过浏览器访问查看是否启动成功：http://服务器IP:50070

注意，自Hadoop3.0之后，端口5007变成端口9870官方解释

5.停止HDFS

[root@lailai sbin]# ./stop-dfs.sh

配置Hadoop的环境变量

添加到系统环境变量中：（~/.bash_profile）

export HADOOP_HOME=hadoop所在目录
export PATH=$HADOOP_HOME/bin:$PATH

使文件生效，并打印HADOOP_HOME以查看是否配置正确

[root@lailai ~]# source ~/.bash_profile
[root@lailai ~]# echo $HADOOP_HOME