hadoop组件的安装（单机）

取暖1023

已于 2023-06-03 14:22:18 修改

阅读量598

点赞数 1

文章标签： hadoop java 大数据

于 2022-12-25 00:23:08 首次发布

本文链接：https://blog.csdn.net/qq_61476788/article/details/128432584

版权

本文章利用乌班图系统进行演示，centos系统同样适用，只有极少命令不同！

1：更新apt(为了后续安装软件的顺利进行)

# sudo apt-get update centos为sudo yum update

2:下载vim

# sudo apt-get install vim

3:安装ssh登录

# sudo apt-get insttall openssh-server

安装后即可ssh+主机名登录

4：免密登录

# cd ~/.ssh/若没有该目录，则执行一次shh localhost

# ssh-keygen -t rsa全部按回车

# cat ./id_rsa.pub >> ./authorized_keys加入授权

再次执行

ssh localhost

即无需密码直接登录

5：安装java环境

# cd /usr/lib

# sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件

# cd ~ #进入hadoop用户的主目录

# cd Downloads #利用 rz命令将本地下载好的jdk压缩包上传至该路径。

注意：使用rz

命令时需要终端支持：XShell、SecureCRT、rxvt、putty 等

# sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下，名称根据实际情况

# cd ~

# vim ~/.bashrc

开头加上

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

Wq保存

# 执行source ~/.bashrc配置立即生效

# 执行Java -version

即表示java环境安装成功

6：安装hadoop

提前下好hdoop安装压缩包

安装至 /usr/local/ 中同样使用rz命令上传至本机。

# sudo tar -zxf ~/下载/hadoop-3.1.3.tar.gz -C /usr/local    # 解压到/usr/local中

# cd /usr/local/

# sudo mv ./hadoop-3.1.3/ ./hadoop            # 将文件夹名改为hadoop

# sudo chown -R hadoop ./hadoop       # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：

# cd /usr/local/hadoop

# ./bin/hadoop version

7：单机配置（非分布式）

现在我们可以执行例子来感受下 Hadoop 的运行

# cd /usr/local/hadoop

# mkdir ./input

# cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件

# ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep ./input ./output 'dfs[a-z.]+'

# cat ./output/* # 查看运行结果

注意，Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除。

#rm -r ./output

8：Hadoop伪分布式配置

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

# cd /usr/local/hadoop/etc/hadoop/

# vi core-site.sml

修改为下面配置：

<configuration>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>file:/usr/local/hadoop/tmp</value>

        <description>Abase for other temporary directories.</description>

    </property>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>

同样的，修改配置文件 hdfs-site.xml：

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/data</value>

    </property>

</configuration>