linux安装Hadoop、hbase

被爱情锁住的锁王

已于 2023-04-21 09:18:52 修改

阅读量4k

点赞数 4

文章标签： hbase hadoop linux

于 2022-10-17 20:19:11 首次发布

本文链接：https://blog.csdn.net/qq_57810709/article/details/127371514

版权

一、创建hadoop用户

(1)首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 :

(2)切换账户，使用Hadoop账户登录登录以后需要更新一下apt

5.键盘i进行编写，在这个文件的开头位置，添加如下几行内容

6.让.bashrc文件的配置立即生效

7.使用如下命令查看是否安装成功出现版本号安装成功：

（3）执行初始化(只需初始化一次不然namenode后面开启不了）

一、创建hadoop用户

(1)首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 :

$ sudo useradd –m hadoop –s /bin/bash

接着使用如下命令设置密码，可简单设置为 hadoop

$ sudo passwd hadoop

可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题：

$ sudo adduser hadoop sudo

(2)切换账户，使用Hadoop账户登录登录以后需要更新一下apt

$sudo apt-get update

使用Ubuntu操作系统中可以用vim编译器来建立文件和修改文件，需要安装一下

$sudo apt-get install vim

(3)安装好ssh服务

$sudo apt-get install ssh openssh-server

此时登入需要密码可以通过然后输入yes并通过密码登入

$ssh localhost

创建ssh-key，将密钥加入授权，此操作前先退出ssh登录

$exit

$cd ~/.ssh/

$ssh-keygen -t rsa

$cat ./id_rsa.pub >> ./authorized_keys //一直回车

然后即可无密码验证登录了，如下(如果进行了下面操作要记得exit退出要不然下面会出问题）：

$ssh localhost

二、安装java

1.下载jdk

wget https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz

2.为jdk创建目录

$cd /usr/lib

$sudo mkdir jvm //用来存放jdk

3.为jdk压缩，jdk的路径在你下载中我移动到了主目录下

$ cd ~

$ tar -zxf jdk-8u151-linux-x64.tar.gz -C /usr/lib/jvm

4.配置环境

$vim ~/.bashrc

5.键盘i进行编写，在这个文件的开头位置，添加如下几行内容

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_151

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

编辑完·esc退出输入：再按wq保存并退出

6.让.bashrc文件的配置立即生效

$source ~/.bashrc

7.使用如下命令查看是否安装成功出现版本号安装成功：

$java -version

三、安装hadoop

1.下载

wget https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

2.压缩，hadoop的路径在你下载中我移动到了主目录下

$ sudo tar -zxf hadoop-3.1.3.tar.gz -C /usr/local

$cd /usr/local/

$sudo mv ./hadoop-3.1.3/ ./hadoop # 将文件夹名改为hadoop

$sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限

4.查看安装是否成功

$ cd /usr/local/hadoop

$./bin/hadoop version

5.测试(跳过）

6.hadoop伪分布式安装

（1）修改core-site.xml文件

$ cd /usr/local/hadoop

$gedit .//etc/hadoop/core-site.xml

在<configuration></configuration>节点内插入如下内容。

<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/hadoop/tmp</value>
<description>location to store temporary files</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

（2）修改hdfs-site.xml

$gedit .//etc/hadoop/hdfs-site.xml

<configuration></configuration>节点内插入如下内容。

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/usr/local/hadoop/tmp/dfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

       <value>file:/usr/local/hadoop/tmp/dfs/data</value>

    </property>