Ubuntu Linux服务器安装Hadoop并配置伪分布式

---

1. 流程

1. 电脑端下载Hadoop 2.7.1（略）
2. 将Hadoop压缩包用WinSCP上传至Linux服务器（略）
   Mac上传使用：Filezilla
   WinSCP的使用参考:《Ubuntu Linux服务器安装JDK8》第1.3部分
3. 解压并安装Hadoop 2.7.1
4. 配置伪分布式

---

2. 解压并安装Hadoop 2.7.1 🐘

# 1. 解压
# 1.1 解压到/usr/local目录下
sudo tar -zxvf  hadoop-2.7.1.tar.gz -C /usr/local

# 1.2 进入到/usr/local目录
cd /usr/local

# 1.3 重命名为hadoop
sudo mv hadoop-2.7.1 hadoop

# 1.4 修改文件权限
sudo chown -R hadoop ./hadoop


------------------------
# 2. 配置环境变量
# 2.1 编辑.bashrc
vim ~/.bashrc

# 2.2 添加如下内容
# Hadoop Environment
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# 2.3 使环境变量马上生效
source ~/.bashrc

# 2.4 查看是否安装成功
hadoop version

---

3. 配置伪分布式

# 1. 在hadoop-env.sh中添加jdk路径
# 1.1 进入到/usr/local/hadoop/etc/hadoop目录
cd /usr/local/hadoop/etc/hadoop

# 1.2 编辑hadoop-env.sh
vim hadoop-env.sh

# 1.3 修改JAVA_HOME值
# 修改前：export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_241

# 2. 依旧是在/usr/local/hadoop/etc/hadoop目录下，修改两个配置文件

# 2.1 修改core-site.xml文件
# 2.1.1 编辑core-site.xml
vim core-site.xml

# 2.1.2 添加如下配置内容
<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

----------------
# 2.2 修改hdfs-site.xml文件
# 2.2.1 编辑core-site.xml
vim hdfs-site.xml

# 2.2.2 添加如下配置内容
<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>


------------------------
# 3. 启动hadoop
# 3.1 进入/usr/local/hadoop
cd /usr/local/hadoop

# 3.2 执行NameNode格式化
./bin/hdfs namenode –format

# 3.3 启动Namenode和Datanode进程
./sbin/start-dfs.sh

# 3.4 查看启动结果
jps

Ubuntu服务器图形界面的安装与远程连接：参考文章

---

4. jps下无NameNode进程的一种解决方法🕺🏻

# 1. 关闭dfs
stop-dfs.sh

# 2. 格式化namenode
hadoop namenode -format

# 3. 重启服务
start-all.sh

---

相关内容

• Ubuntu Linux服务器安装JDK8
• Ubuntu Linux服务器安装图形化界面并用VNC Viewer连接
• Linux服务器(Ubuntu 18.04)安装JDK、Hadoop、Hbase以及图形界面的全过程