搭建Hadoop环境

搭建Hadoop环境

HDFS伪分布式环境搭建
一、前序
最近在搭建Hadoop环境时遇到一些问题，花费了我很长时间解决，初学的确是会遇到一些问题，现在记录我的安装过程以及我遇到的一些问题，希望能够供初学的小伙伴参考，少走弯路，如果有看到不对的地方，欢迎在下面评论指正。
首先是要在Linux系统上安装，如果时windows操作系统，我使用的是使用虚拟机，在此是配置好的虚拟机下载的地址（百度网盘）链接：https://pan.baidu.com/s/1H0HPh9d315JEehsAPhJjhw 密码：qfi8
先官网上下载一个VMware，然后直接打开

选择hadoop，密码：hadoop
二、步骤

1、安装jdk（版本1.8及其以上）
vi ~/.bash_profile 添加以下内容:

export JAVA_HOME=/home/hadoop/software/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH

source ~/.bash_profile 生效
查看java安装版本：java -version
下面是我的版本：（版本只要在1.8及其以上即可）

2、安装ssh
1）sudo yum install ssh

2）ssh-keygen -t rsa

输入：ls -la，可看到.ssh文件

我在此处遇到了问题：刚开始并没有发现在[hadoop@hadoop000 ~Desktop]$，不知道是怎么多了一个Desktop，而我并没有注意到，但在Desktop也就是桌面上并没有.ssh这个文件，因此花了很多时间找问题，首先要退出上一级，到[hadoop@hadoop000 ~]$，然后在执行上面的操作才可以找到.ssh文件，并进行下面的操作。经过这次教训后，深刻体会到仔细的重要性，可能一个很简单的错误，就会出现大问题。

3）将文件id_rsa.pub复制到authorized_keys中：
p ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
查看拷贝之后的文件：cat authorized_keys

4）输入：ssh localhost检测是否配置好

3、下载并解压hadoop
下载：直接到cdh官网下载
解压：tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app
(如果使用上面网盘的资料，在虚拟机中已经下载好了，可以直接解压)

4、1）hadoop配置文件的修改（hadoop_home/etc/hadoop）
hadoop_env.sh
export JAVA_HOME=/home/haoop/app/home/hadoop/app/jdk1.8.0_144
jdk1.8.0_144可通过下面的方法查询：

2）添加core-site.xml和hdfs-site.xml

core-site.xml:
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop000:8020</value>
</property>

/**
默认文件系统存储的地方在临时文件夹下，而临时文件夹每次Linux重启的时候都会被删除，
因此再添加一个属性。
*/  
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/app/tmp</value>
    </property>

hdfs-site.xml:
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>

3）vi slaves
localhost修改为hadoop

5、启动hdfs
1）格式化文件系统（仅第一次执行即可，不要重复执行）：hdfs/hadoop namenode -format格式化是客户端操作
2）启动hdfs:sbin/start-dfs.sh
3）验证是否启动成功（在tmp目录下，我的是temp）
输入：jps
DataNode
SecondaryNameNode
NameNode
注意：一定要出现这3个，否则没有成功

如果没有成功，可以输入检查，并从结果中找找错误提示

还可以通过浏览器查看：hadoop000:50070,如果不能访问，则将hadoop换成ip地址

6）停止hdfs:./stop-dfs.sh
验证是否成功：jps