利用unbuntu在虚拟机下配置Linux与hadoop的环境

**利用unbuntu在虚拟机下配置Linux与hadoop的环境，并测试结果
如题目，下面就是个人在研究大数据时的一些笔记**

一.Linux环境
1.安装好unbuntu
2.首先安装更新
sudo apt-get update
sudo apt-get upgrade
3.ssh安装
sudo apt-get install ssh

4.开启免密码登录
ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

4.测试登录
ssh localhost

二.环境变量配置
1.修改机器host名字，主机与虚拟机都修改
sudo vi /etc/hosts
192.168.18.134 master
2.修改profile文件的环境变量
sudo vi /etc/profile
进入后，按光标下定位到最后一个字符i,然后按i就可以编辑了
接着空格回车写

export JAVA_HOME=/home/test/java/jdk1.8.0_112
export PHAT=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/home/test/hadoop/hadoop-2.7.3
export PHAT=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
注意，要是写错了，可以按ESC退出再定位去写，不然出现很多转译符，无法输入
如果实现没办法修改，可以直接按ESC,然后输入:q!,不保存退出

编写完成后
:wq!退出

生效
source /etc/profile

3.修改五个配置文件如下：

3.1配置hadoop
第一个：hadoop-env.sh
vi hadoop-env.sh
export JAVA_HOME=/home/test/java/jdk1.8.0_112

第二个：core-site.xml
    <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.7.3/tmpdir</value>
</property>

第三个：hdfs-site.xml   hdfs-default.xml  (3)
    <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
</property>

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
    mv mapred-site.xml.template mapred-site.xml
    vim mapred-site.xml
    <!-- 指定mr运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

第五个：yarn-site.xml
    <!-- 指定YARN的老大（ResourceManager）的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
</property>
    <!-- reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
 </property>

可以重启机器使机器名生效

4格式化namenode（是对namenode进行初始化，最好只执行一次）
hdfs namenode -forma

5.启动hadoop
start-dfs.sh
start-yarn.sh

6.测试上传文件到hdfs系统,将终端所在的目录里面的test.txt文件上传到hdfs文件系统的根目录中,也取名为test.txt
hadoop fs -put test.txt /test.txt

7.统计wordcount例子
切换到/home/test/hadoop/hadoop-2.7.3/share/hadoop/mapreduce文件夹后输入：
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /test.txt /output

8.查看结果所在目录
hadoop fs -ls /output

9.查看结果文件内容
cat hdfs://master:9000/output/part-r-00000

10.让主机HOSTS不重启生效（由于修改hosts要重启，如果不想重启可以如下操作）
打开命令行输入下面两行(文字说明部分忽略)
ipconfig /displaydns
//显示DNS缓存内容

ipconfig /flushdns
//删除DNS缓存内容