Hadoop安装，配置

在Linux系统中创建一个新的用户进行Hadoop相关的管理，所谓的“专款专用”
在命令行中创建一个用来放软件的文件夹
mkdir software
然后用wget 进行 下载

wget http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

这个网址就是chd的下载镜像

在这个里边就可以搜索到咱们需要的软件了，以后再下载hive都是在这个里边下载的，注意CDH的版本号对应。

下一步就可以进行解压了，可以解压到另一个app文件夹，也可以在当前文件夹，但是为了美观我选择将它解压到app文件夹里边

tar -xzvf hadoop2.6.0-cdh5.7.0.tar.gz -C ~/app

等待解压完成后，需要进行JDK的配置，因为Hadoop依赖Java，具体可以看我的另一篇文章，在MySQL里边有写

接下来要配置文件：
在hadoop-env.sh中
export JAVA_HOME=你java的安装目录，这里就是告诉hadoop你的java在哪里
export HADOOP_PREFIX=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0，这里是明确hadoop的安装目录，其实也可以不写的

core-site.xml这个文件

在configuraion中间，把我这个copy上去就好了

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop000:9000</value>
</property>

需要注意的是里边的hadoop000是我的主机名，根据个人不同需要更改的。

hdfs-site.xml这个文件
还是在configuraiong中

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

<property>
<name>dfs.namenode.name.dir</name>
<value>自己创建地址</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>自己创建地址</value>
</property>

<property>
<name>dfs.namenode.http-address</name>
<value>hadoop000:50070</value>
</property>
</configuration>

其他的就是配置Hadoop环境变量不在赘述。
每次启动Hadoop的时候都会输入密码，如果不想输入密码的话就要配置ssh免密输入ssh-keygen -t dsa -P "-f ~/.ssh/id_dsa"生成密钥，然后将id_dsa.pub放在
~/.ssh/authorize_keys中让其公钥访问就可以了
首次使用Hadoop之前要记得初始化namenode

hdfs namenode -format

如果显示succeed就可以了
至此就可以启动hdfs了，在hadoop目录下的sbin目录下会有hdfs-start.sh的脚本，使用脚本就可以启动了
如果成功的话用jps就可以看见NameNode，DataNode，SecondaryNameNode了,简称就是NN,DN,SNN。

如果要使用Hadoop肯定要配置yarn进行资源管理，因此需要更改配置文件
yarn-site.xml中

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

填写这几行代码就可以了
要使用mapreduce进行计算还需要配置mapred-site.xml
但是，etc/hadoop下没有只有一个模板的.template文件，因此只要拷贝一份把后缀删了就行
然后从cp出的文件里边添加

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

就行了
然后到sbin目录下启动yarn-start.sh就可以了
这时候jps正常的话应该除了NN,SNN,DN以外还有
NodeManager和ResourceManager即NM,RM
表示yarn运行正常。
同时你可以在浏览器中输入地址，是有web界面的
hdfs的是50070
yarn的是8088