环境如下
linux版本:CentOS 7.5.1804
jdk版本:jdk1.8.0_201
hadoop版本:hadoop-2.6.0-cdh5.10.0
一、JDK
请参考文章 JDK1.8安装
二、设置免密码登录
# ssh-keygen -t rsa -P ""
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
三、安装Hadoop
Hadoop我选用了cdh2.6.0的版本
下载地址直接去官方下载就行
官方地址:https://archive.cloudera.com/cdh5/cdh/5/
或是直接点击此链接进行下载 hadoop-2.6.0-cdh5.10.0.tar.gz
下载后将压缩包上传到服务器的制定路径(如果不清楚如何操作的可查看文章:通过 Xshell 上传文件到服务器 rzsz)
解压
tar -zxvf hadoop-2.6.0-cdh5.10.0.tar.gz
配置环境变量
修改 /etc/profile
文件:
vim /etc/profile
在文件中加入以下内容:
export HADOOP_HOME=~/lib/hadoop-2.6.0-cdh5.10.0
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_LIB=$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
修改 PATH,添加hadoop操作路径
例如:
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
注:HADOOP_HOME是你的 hadoop 安装的根目录
跟新配置
source /etc/profile
配置hadoop(伪分布式配置)
进入 hadoop-2.6.0-cdh5.10.0/etc/hadoop/
文件
cd ~/lib/hadoop-2.6.0-cdh5.10.0/etc/hadoop/
1. 修改 hadoop-env.sh
文件
vim hadoop-env.sh
添加
export JAVA_HOME=~/lib/jdk1.8.0_201
2. 修改 core-site.xml
文件
vim core-site.xml
添加
<configuration>
<property>
<name>hadoop.tmp.dir</name> <!-- 临时目录 -->
<value>file:/root/hadoop/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3. 修改 hdfs-site.xml
文件
vim hdfs-site.xml
添加
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value> <!-- 由于是伪分布式,节点数仅为1-->
</property>
<property>
<name>dfs.namenode.name.dir</name> <!-- namenode目录-->
<value>file:/root/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name> <!-- datanode目录 -->
<value>file:/root/hadoop/tmp/dfs/data</value>
</property>
</configuration>
格式化Hadoop
格式化 namenode
hadoop namenode -format
启动Hadoop
start-all.sh
状态监测
jps
显示所有进程启动成功
(注:由于是伪分布式配置,所以 NameNode 和 DataNode 同时存在)
测试
# hadoop fs -ls / #查看hdfs的/目录
# hadoop fs -mkdir /user #在hdfs创建目录user
# hadoop fs -put a.out /user #在hdfs的/user下上传文件a.out
# hadoop fs -get /user/a.out #下载a.out文件到本地
没有报错,显示正常,安装完成
–> 关闭hadoop
# stop-all.sh
青冥有晓月