centos7安装hadoop伪分布式

最新推荐文章于 2022-04-26 11:14:21 发布

虚无-缥缈

最新推荐文章于 2022-04-26 11:14:21 发布

阅读量618

点赞数 1

分类专栏： hadoop 文章标签： hadoop ssh centos

本文链接：https://blog.csdn.net/qq_51478862/article/details/120570809

版权

hadoop 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

一，准备工作

1，创建hadoop用户

useradd -m hadoop -s /bin/bash #创建用户
passwd hadoop	#设置密码

为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题，执行下面代码添加权限

visudo

找到 root ALL=(ALL) ALL 这行（应该在第98行，可以先按一下键盘上的 ESC 键，然后输入 :100 (按一下冒号，接着输入98，再按回车键)，可以直接跳到第100行），然后在这行下面增加一行内容：hadoop ALL=(ALL) ALL （当中的间隔为tab）

添加上一行内容后，先按一下键盘上的 ESC 键，然后输入 :wq (输入冒号还有wq，这是vi/vim编辑器的保存方法)，再按回车键保存退出就可以了。
输入su hadoop就可以直接切换到hadoop用户了。

设置ssh免密登录

cd ~/.ssh/    # 若没有该目录，请先执行一次ssh localhost再执行exit
ssh-keygen  -t  rsa  -P  ''       # 会有提示，都按回车就可以
chmod 700 ~/.ssh
touch ~/.ssh/authorized_keys
cat id_rsa.pub >> authorized_keys  # 加入授权

输入ssh localhost 若不用密码则设置成功

2，安装Java环境

因为centos自带的java环境是jre的，而我们需要的是jdk环境，所以先卸载自带的java,重新安装

删除原java

rpm -qa |grep java #查看是否安装java
sudo yum remove *openjdk* #删除
之后再次输入命令 查看卸载情况：java -version

删除后：

使用yum安装jdk

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel
java -version #查看jdk版本

配置jdk环境,使用yum命令安装jdk默认安装再/usr/lib/jvm目录记住下图中画线的路径。

#打开文件
vim ~/.bashrc
#在文件最后面添加如下单独一行（指向 JDK 的安装位置），并保存：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
#若想所有用户都能使用java环境，执行sudo vi /etc/proflie
#重复上一步骤保存后执行：source /etc/proflie
source ~/.bashrc    # 使变量设置生效
echo $JAVA_HOME     # 检验变量值

这样，Hadoop 所需的 Java 运行环境就安装好了。

二，下载安装hadoop

下载地址：https://dlcdn.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz，也可以在官网上搜索下载最新的。
可以在Linux下用wget命令下载，如：sudo wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz但这种方式下载太慢了。
也可以在电脑上用迅雷等下载器下载后在传到Linux系统上,本文是采用第二种方法。先windows电脑上下载好，再使用git bash通过scp命令传到centos7上。传到usr/local的目录下

cd /usr/local
sudo tar -zxf hadoop.tar.gz#解压压缩包
ls -l#查看是否解压成功
sudo mv hadoop-3.3.1  hadoop #把解压后的文件包名更改为hadoop
sudo chown -R hadoop hadoop #因为是用scp命令传的,设置文件夹归属。

因为我是用scp传的，结果对文件没有操作权限，执行
sudo chown -R hadoop hadoop进行赋权，这样就可以进行操作了。

查看hadoop是否可以使用

cd hadoop
./bin/hadoop version

三，Hadoop单机配置(非分布式)

Hadoop 默认模式为非分布式模式，无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。
现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子（运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子），包括 wordcount、terasort、join、grep 等。
在此我们选择运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。

cd /usr/local/hadoop
sudo mkdir ./input #创建输入目录
sudo cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/*          # 查看运行结果

保存文件后，重新运行 hadoop 实例，若执行成功的话会输出很多作业的相关信息，最后的输出信息如下图所示。作业的结果会输出在指定的 output 文件夹中，通过命令 cat ./output/* 查看结果，符合正则的单词 dfsadmin 出现了1次：

注意，Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除。
rm -r ./output

Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。
在设置 Hadoop 伪分布式配置前，我们还需要设置 HADOOP 环境变量，执行如下命令在 ~/.bashrc 中设置：
vi ~/.bashrc
#在文件最后面增加如下内容：

# Hadoop Environment Variables
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

保存后，不要忘记执行如下命令使配置生效：
source ~/.bashrc
这些变量在启动 Hadoop 进程时需要用到，不设置的话可能会报错（这些变量也可以通过修改 ./etc/hadoop/hadoop-env.sh 实现）。
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。
修改配置文件 core-site.xml )，在
当中添加一下内容，后面操作都如此不再赘述。
打开文件进行编辑
vi ./etc/hadoop/core-site.xml

<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

修改配置文件 hdfs-site.xml：
**vi ./etc/hadoop/hdfs-site.xml**

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
  <property>
                    <name>dfs.http.address</name>
                   <value>127.0.0.1:50070</value>
           </property>

配置完成后，执行 NameNode 的格式化:
./bin/hdfs namenode -format
只有第一才进行初始化，以后启动都不用了。
接着开启 NaneNode 和 DataNode 守护进程：
./sbin/start-dfs.sh
使用：jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode”和SecondaryNameNode（如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试）。如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

配置成功之后在自带的浏览器访问127.0.0.1:50070

通过查看启动日志分析启动失败原因
有时 Hadoop 无法正确启动，如 NameNode 进程没有顺利启动，这时可以查看启动日志来排查原因，注意几点：

启动时会提示形如 “dblab: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-dblab.out”，其中 dblab 对应你的主机名，但启动的日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-dblab.log 中，所以应该查看这个后缀为 .log 的文件；
每一次的启动日志都是追加在日志文件之后，所以得拉到最后面看，看下记录的时间就知道了。
一般出错的提示在最后面，也就是写着 Fatal、Error 或者 Java Exception 的地方。
可以在网上搜索一下出错信息，看能否找到一些相关的解决方法。

伪分布式运行

上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：
./bin/hdfs dfs -mkdir -p /user/hadoop
Shell 命令
接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户，并且已创建相应的用户目录 /user/hadoop ，因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /user/hadoop/input:
./bin/hdfs dfs -mkdir input./bin/hdfs dfs -put ./etc/hadoop/*.xml input
Shell 命令
复制完成后，可以通过如下命令查看 HDFS 中的文件列表：
./bin/hdfs dfs -ls input

伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件（可以将单机步骤中创建的本地 input 文件夹，输出结果 output 文件夹都删掉来验证这一点）。
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
查看运行结果的命令（查看的是位于 HDFS 中的输出结果）：
./bin/hdfs dfs -cat output/*
结果如下，注意到刚才我们已经更改了配置文件，所以运行结果不同。

我们也可以将运行结果取回到本地：

rm -r ./output    # 先删除本地的 output 文件夹（如果存在）
./bin/hdfs dfs -get output ./output     # 将 HDFS 上的 output 文件夹拷贝到本机
./bin/hdfs dfs -cat output/*

Hadoop 运行程序时，输出目录不能存在，否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ，因此若要再次执行，需要执行如下命令删除 output 文件夹:
./bin/hdfs dfs -rm -r output # 删除 output 文件夹
运行程序时，输出目录不能存在
运行 Hadoop 程序时，为了防止覆盖结果，程序指定的输出目录（如 output）不能存在，否则会提示错误，因此运行前需要先删除输出目录。在实际开发应用程序时，可考虑在程序中加上如下代码，能在每次运行时自动删除输出目录，避免繁琐的命令行操作：

Configuration conf = new Configuration();
Job job = new Job(conf); 
/* 删除输出目录 */
Path outputPath = new Path(args[1]);
outputPath.getFileSystem(conf).delete(outputPath, true);

若要关闭 Hadoop，则运行
stop-dfs.sh
注意
下次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行 start-dfs.sh 就可以！
参考文章 http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/

配置中遇到的问题：

注意：每当修改配置文件后都要删除数据文件(rm -r hadoop/tmp/dfs/*),若不知道路径查看hdfs-site.xml配置文件，下面是我的配置文件的路径
vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

删除后再重新格式后再启动
1，若遇到
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable这样报错则
vi ~/.bashrc
添加：
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
2，报错：
localhost: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
Starting datanodes则是ssh免密登录设置失败。
3，若jps命令无法执行则是java环境没有配置好，删除java后用上面安装的java的步骤重新安装并配置环境。
4，若启动hadoop后没有namenode,则可能
主机名称问题
编辑以下文件查看主机名称是否是 localhost,如果不是则修改。一般只改第一个就可以解决问题
vim /etc/hostname
HOSTS
vim /etc/hosts
如果有 localhost.localdomain（如下）把它修改为 localhost
127.0.0.1 localhost localhost.localdomain
5，格式化时最后显示：Shutting down NameNode at *

然后启动hadoop后输入jps若节点都有则不用管。

虚无-缥缈

关注

1
点赞
踩
6

收藏

觉得还不错? 一键收藏
打赏
1
评论
centos7安装hadoop伪分布式

一，准备工作1，创建hadoop用户useradd -m hadoop -s /bin/bash #创建用户passwd hadoop #设置密码为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题，执行下面代码添加权限visudo找到 root ALL=(ALL) ALL 这行（应该在第98行，可以先按一下键盘上的 ESC 键，然后输入 :100 (按一下冒号，接着输入98，再按回车键)，可以直接跳到第100行），然后在这行下面增加一行内容：hadoop
复制链接

扫一扫