(Hadoop学习笔记-1) Hadoop伪分布式安装

一、配置ssh服务

参考我这篇博客

二、安装JAVA环境

1.下载JDK-8
在/usr/下建个文件夹，取名为JDK-8(这个大家随意)，将下载的jdk解压到此文件夹中

2.配置环境变量

sudo gedit /etc/profile

在文件末尾添加如下几行：(路径以你自己的为准)

export JAVA_HOME=/usr/jdk-8/jdk1.8.0_151
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

然后

source /etc/profile #使环境变量生效

3.检查一下JAVA是否安装成功

java -version

三、安装hadoop

我下的是2.8.2 version
在/home/username/下建个文件夹，取名hadoop,将hadoop压缩包解压到此文件夹下
1.修改配置文件

(1) 修改hadoop-env.sh，更改这一行

export JAVA_HOME=/usr/jdk-8/jdk1.8.0_151

(2)修改core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://mckee-Ubuntu:9000/</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/mckee/hadoop/hadoop-2.8.2/data/</value>
</property>
</configuration>

(3)修改hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

(4)创建并修改mapred-site.xml
原本只有mapred-site.xml.template, 先创建

mv mapred-site.xml.template mapred-site.xml

然后修改

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

(5)修改 yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>mckee-Ubuntu</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

2.将hadoop添加到环境变量

sudo gedit /etc/profile

在末尾添加

export HADOOP_HOME=/home/mckee/hadoop/hadoop-2.8.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使其生效

source /etc/profile

3. 格式化hadoop

hadoop namenode -format

发现之前上传的一张喜欢的照片没有了，是用opencv处理的。。。。唉

4.启动服务
在sbin里启动，打开终端

./start-dfs.sh #只启动hdfs
./start-yarn.sh #启动yarn

如需启动所有服务，则

./start-all.sh 

查看进程

jps

5.上传一个文件试试

hadoop fs -put <your file> hdfs://mckee-Ubuntu:9000/

文件已上传，接下来用client访问看看

四、访问hadoop-HDFS

1.在windows设备浏览器中，输入 mckee-Ubuntu:50070(名称代表的就是server的ip，以你自己改的为准)

2.在Utilities-> Browse the file system里查看：

可以看到刚才上传到的文件，点击即可下载。