**利用unbuntu在虚拟机下配置Linux与hadoop的环境,并测试结果
如题目,下面就是个人在研究大数据时的一些笔记**
一.Linux环境
1.安装好unbuntu
2.首先安装更新
sudo apt-get update
sudo apt-get upgrade
3.ssh安装
sudo apt-get install ssh
4.开启免密码登录
ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
4.测试登录
ssh localhost
二.环境变量配置
1.修改机器host名字,主机与虚拟机都修改
sudo vi /etc/hosts
192.168.18.134 master
2.修改profile文件的环境变量
sudo vi /etc/profile
进入后,按光标下定位到最后一个字符i,然后按i就可以编辑了
接着空格回车写
export JAVA_HOME=/home/test/java/jdk1.8.0_112
export PHAT=
PATH:
JAVA_HOME/bin
export HADOOP_HOME=/home/test/hadoop/hadoop-2.7.3
export PHAT=
PATH:
HADOOP_HOME/bin:$HADOOP_HOME/sbin
注意,要是写错了,可以按ESC退出再定位去写,不然出现很多转译符,无法输入
如果实现没办法修改,可以直接按ESC,然后输入:q!,不保存退出
编写完成后
:wq!退出
生效
source /etc/profile
3.修改五个配置文件如下:
3.1配置hadoop
第一个:hadoop-env.sh
vi hadoop-env.sh
export JAVA_HOME=/home/test/java/jdk1.8.0_112
第二个:core-site.xml
<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.7.3/tmpdir</value>
</property>
第三个:hdfs-site.xml hdfs-default.xml (3)
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
第五个:yarn-site.xml
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
可以重启机器使机器名生效
4格式化namenode(是对namenode进行初始化,最好只执行一次)
hdfs namenode -forma
5.启动hadoop
start-dfs.sh
start-yarn.sh
6.测试上传文件到hdfs系统,将终端所在的目录里面的test.txt文件上传到hdfs文件系统的根目录中,也取名为test.txt
hadoop fs -put test.txt /test.txt
7.统计wordcount例子
切换到/home/test/hadoop/hadoop-2.7.3/share/hadoop/mapreduce文件夹后输入:
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /test.txt /output
8.查看结果所在目录
hadoop fs -ls /output
9.查看结果文件内容
cat hdfs://master:9000/output/part-r-00000
10.让主机HOSTS不重启生效(由于修改hosts要重启,如果不想重启可以如下操作)
打开命令行输入下面两行(文字说明部分忽略)
ipconfig /displaydns
//显示DNS缓存内容
ipconfig /flushdns
//删除DNS缓存内容