伪分布式部署

Hadoop部署模式分有伪分布式模式和完全分布式模式

以下部署模式为伪分布式模式

linunx要求切换在hadoop用户下进行部署，首先建立相关目录

[hadoop@bigdata31 ~]$ mkdir app shell project software data log

1.部署jdk

[hadoop@bigdata31 software]$ tar -zxvf ./jdk-8u45-linux-x64.gz -C ~/app/

[hadoop@bigdata31 app]$ ln -s ./jdk1.8.0_45/ java

2.配置环境变量

[hadoop@bigdata31 java]$ vim ~/.bashrc
export JAVA_HOME=/home/hadoop/app/java
export PATH=${JAVA_HOME}/bin:$PATH

[hadoop@bigdata31 ~]$ java -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)

2.部署Hadoop

（1）[hadoop@bigdata31 software]$ tar -zxvf ./hadoop-3.3.4.tar.gz -C ~/app/

（2）[hadoop@bigdata31 app]$ ln -s ./hadoop-3.3.4/ hadoop

（3）vim ~/.bashrc

#HADOOP_HOME
export HADOOP_HOME=/home/hadoop/app/hadoop
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

（4）source ~/.bashrc

（5）在/home/hadoop/app/hadoop/etc/hadoop下vim hadoop-env.sh

[hadoop@bigdata31 hadoop]$ vim hadoop-env.sh
export JAVA_HOME=/home/hadoop/app/java

[hadoop@bigdata31 ~]$ hadoop version

3.hdfs部署

往core-site.xml、hdfs-site.xml添加内容

（1）core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://bigdata31:9000</value>
</property>

（2）hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

4.ssh  远程登录并执行的命令 

设置hadoop密码，需要切换root进行设置

也可设置免密登录：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

5.格式化文件系统

[hadoop@bigdata31 hadoop]$ hdfs namenode -format

6.启动线程   start-dfs.sh

7.检查hdfs进程 

[hadoop@bigdata31 hadoop]$ jps

8.查看namenode web ui

http://bigdata12:9870/（类似，或者http://192.168.41.12:9870/）

9.上传文件

（1）[hadoop@bigdata31 ~]$ vim wc.data

（2）[hadoop@bigdata31 ~]$ hadoop fs -put ./wc.data /data 

（3）hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar \
wordcount /data/wc.data /out

（4）[hadoop@bigdata31 data]$ hadoop fs -get /out ./

然后就可以在http://bigdata12:9870/上查看上传的wc.data了

10.停止hdfs   stop-dfs.sh