需要先下载hadooop 3.1.1包和java jdk
1.安装SSH,设置SSH无密码登陆
$ sudo apt-get install openssh-server #安装SSH server $ ssh localhost #登陆SSH,第一次登陆输入yes $ exit #退出登录的ssh localhost $ cd ~/.ssh/ #如果没法进入该目录,执行一次ssh localhost $ ssh-keygen -t rsa |
输入完 $ ssh-keygen -t rsa 语句以后,需要连续敲击三次回车,如下图:
其中,第一次回车是让KEY存于默认位置,以方便后续的命令输入。第二次和第三次是确定passphrase,相关性不大。两次回车输入完毕以后,如果出现类似于下图所示的输出,即成功:
之后再输入:
$ cat ./id_rsa.pub >> ./authorized_keys #加入授权 $ ssh localhost #此时已不需密码即可登录localhost,并可见下图。如果失败则可以搜索SSH免密码登录来寻求答案 |
2.安装jdk
首先在oracle官网下载jdk http://www.oracle.com/technetwork/java/javase/downloads/index.html 接下来进行 安装与环境变量配置,根据个人电脑系统选择对应版本。
$ mkdir /usr/lib/jvm #创建jvm文件夹 $ sudo tar zxvf jdk-7u80-linux-x64.tar.gz -C /usr/lib #/ 解压到/usr/lib/jvm目录下 $ cd /usr/lib/jvm #进入该目录 $ mv jdk1.7.0_80 java #重命名为java(根据实际情况自己命名) $ gedit ~/.bashrc #给JDK配置环境变量 $gedit /etc/profile #或是使用这一句 |
在~/.bashrc 或是/etc/profile中加入下列几句
export JAVA_HOME=/usr/lib/jvm/java #这个路径是你刚才解压到的那个路径 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH |
在文件修改完毕以后,输入代码:
$ source ~/.bashrc #使新配置的环境变量生效 $ source /etc/profile #或者这一句 $ java -version #检测是否安装成功,查看java版本 |
如果有显示出java的版本号,则配置成功。
3.安装hadoop
先下载hadoop,配置过程与java类似。
可以直接使用归档管理器将hadoop压缩包解压到主文件夹下。
给hadoop配置环境变量,将下面代码添加到.bashrc或是/etc/profile文件:
export HADOOP_HOME=/usr/local/hadoop #刚刚你解压到的路径 export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin |
同样,执行source ~./bashrc或是source /etc/profile使设置生效,在终端中输入hadoop version来查看hadoop是否安装成功。如果显示了hadoop版本号,则成功。
4.伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。首先将jdk1.7的路径添(export JAVA_HOME=/usr/lib/jvm/java )加到hadoop-env.sh文件(hadoop/etc/hadoop文件夹下)。
接下来修改core-site.xml文件:
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/home/zy/hadoop_tmp/tmp</value><!--可以先创建好这个文件夹--> <description>Abase for other temporary directories</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> |
接下来修改配置文件 hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/zy/hadoop_tmp/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/zy/hadoop_tmp/data</value> </property> <property> <name>dfs.http.address</name> <value>127.0.0.1:50070</value> </property> </configuration> |
接下来修改配置文件 yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</value> </property> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>1</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> |
|
接下来修改配置文件 mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> |
Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(可参考官方教程),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。
配置完成后,执行 NameNode 的格式化
$ ./bin/hdfs namenode -format |
启动namenode和datanode进程,并查看启动结果
$ ./sbin/start-all.sh $ jps |
启动完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、”DataNode” 、“NodeManager”、“ResourceManager”和 “SecondaryNameNode”
成功启动后,可以访问 Web 界面http://localhost:50070和http://localhost:8088