Ubuntu下搭建Hadoop+Hbase平台

最新推荐文章于 2024-08-12 13:35:06 发布
最新推荐文章于 2024-08-12 13:35:06 发布
阅读量524 收藏 1
点赞数
文章标签： hadoop hbase hdfs java 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuxc1120/article/details/45622133
版权


一、环境及目标：

- 系统： Ubuntu 12.10

- Hadoop版本：1.0.4

- Hbase 版本：0.94.8(hindex secondaryindex)

- 节点配置 (完全分布式集群)                          静态IP

Master (job tracker) 

192.168.0.200

namenode

Slave (task tracker/data node)

192.168.0.201

Datanode1

Slave (task tracker/data node)

192.168.0.202

Datanode2

- 用户: hadoop

 

1.1 创建hadoop用户组;

    $ sudo addgroup hadoop  记下这里为 hadoop 用户设置的密码，后面使用 hadoop 用户登录时需要用到。

1.2. 创建hadoop用户;

    $ sudo adduser -ingroup hadoop hadoop  

1.3. 给hadoop用户添加权限，打开/etc/sudoers文件;

    $ sudo gedit /etc/sudoers 

1.4. 给hadoop用户赋予root用户同样的权限。

在root  ALL=(ALL:ALL)  ALL下添加如下内容：

 hadoop ALL=(ALL:ALL)  ALL    

 

二、在Ubuntu下安装JDK

2.1 配置环境变量

$ sudo gedit /etc/profile

在文件的末尾加上如下内容，保存并关闭文件

# for java

export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

使设置生效：到此部JDK的配置就都完成了

$ source /etc/profile

为保证正确性，进行简单的测试

$ java -version

2.2 修改默认JDK

       sudoupdate-alternatives --install /usr/bin/java java /usr/lib/jvm/ jdk1.6.0_45/bin/java  300

    sudo update-alternatives --install/usr/bin/javac javac /usr/lib/jvm/ jdk1.6.0_45/bin/javac 300 

    sudo update-alternatives --install/usr/bin/jar jar  /usr/lib/jvm/jdk1.6.0_45/bin/jar  300 

以下两句可选（最好执行）：

sudo update-alternatives --config java 

sudo update-alternatives --config javac  

 

2.3 修改机器名

每当ubuntu安装成功时机器名都默认为：ubuntu ，但为了以后集群中能够容易分辨各台服务器，需要给每台机器取个不同的名字。机器名由 /etc/hostname文件决定。

1. 打开/etc/hostname文件;

      $  sudo gedit /etc/hostname  

2. 将/etc/hostname文件中的ubuntu改为对应机器，如主节点中，修改为"namenode"。 重启生效。

3.修改/etc/hosts文件

    $  sudo gedit /etc/hosts

并且将每台机器的IP设置为固定IP：

 

三、安装ssh服务

ubuntu一般只是默认安装了 ssh-agent, 可以用如下命令查看：

$ sudo ps -ef | grep ssh  

如果只有 ssh-agent 就需要安装openssh-server了。

$ sudo apt-get install ssh openssh-server 

 

3.1 建立ssh无密码登录本机

首先要转换成hadoop用户，执行以下命令：

    $ sudo su - hadoop  

 

ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式。

1. 创建ssh-key，，这里我们采用rsa方式;

   $ ssh-keygen -t rsa -P ""  

注意：ssh-kengen是用连字符连着的，千万不要分开。

（注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的）

2.  创建授权文件authorized_keys

     进入~/.ssh/目录下，发现开始是没有authorized_keys文件的，可以使用以下两种方法：

  (1) 将id_rsa.pub追加到authorized_keys授权文件中;

      $ cd ~/.ssh  

    $ cat id_rsa.pub >> authorized_keys 

  (2) 复制 id_rsa.pub 为 authorized_keys

     $ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys  

3. 登录localhost;

     $ ssh localhost  

4. 执行退出命令(exit或CTRL+D);  

权限要求：hadoop目录 755，.ssh目录700，authorized_key文件600

 

四、安装hadoop

 解压后修改hadoop/conf/下几个文件：

hadoop-env.sh

         增加：exportJAVA_HOME=/usr/lib/jvm/jdk1.6.0_45

 

core-site.xml

<property>

              <name>fs.default.name</name>

              <value>hdfs://namenode:9000</value>

       </property>

       <property>

              <name>hadoop.tmp.dir</name>

              <value>/home/hadoop/tmp</value>

       </property>

 

mapred-site.xml

         <property>

              <name>mapred.job.tracker</name>

              <value>hdfs://namenode:9001</value>

       </property>

hdfs-site.xml

      <property>

              <name>dfs.replication</name>

              <value>3</value>

       </property>

       <property>

              <name>dfs.data.dir</name>

              <value>/home/hadoop/tmp/data</value>

       </property>

 

masters ：添加作为secondarynamenode的主机名

slaves：添加作为slave的主机名，一行一个

 

运行hadoop

1. 进入hadoop目录下，格式化hdfs文件系统，初次运行hadoop时一定要有该操作， 

   $ cd /usr/local/hadoop/  

   $ bin/hadoop namenode -format  

2. 启动bin/start-all.sh

进入bin目录下， $ ./start-all.sh        关闭：同目录下./stop-all.sh

3. 检测hadoop是否启动成功

    $jps  

4. Web查看

http://localhost:50070/ – web UI of theNameNodedaemon 

http://localhost:50030/ – web UI of theJobTrackerdaemon 

http://localhost:50060/ – web UI of theTaskTrackerdaemon  

 

 

五、安装Hbase

需要将hadoop/lib下文件全部复制到hbase/lib目录下。

解压后修改hbase/conf/下几个文件：

hbase-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45/

exportHBASE_CLASSPATH=/home/hadoop/hadoop-1.0.4/conf:/home/hadoop/hbase-0.94.8/libs

export HBASE_PID_DIR=/home/hadoop/tmp/hbase/pids

export HBASE_OPTS="-ea -XX:+UseConcMarkSweepGC-XX:+CMSIncrementalMode"

export HBASE_MANAGES_ZK=true              //true为使用Hbase自带ZK，false为使用独立ZK

 

hbase-site.xml

<property>

              <name>hbase.rootdir</name>

              <value>hdfs://namenode:9000/hbase</value>

       </property>

       <property>

              <name>hbase.cluster.distributed</name>

              <value>true</value>

       </property>

       <property>

              <name>hbase.master</name>

              <value>hdfs://namenode:60000</value>

       </property>

       <property>

              <name>hbase.tmp.dir</name>

              <value>/home/hadoop/tmp/data</value>

       </property>

       <property>

              <name>hbase.zookeeper.quorum</name>

              <value>namenode,datanode1,datanode2</value>

       </property>

       <property>

              <name>hbase.zookeeper.property.dataDir</name>

              <value>${hbase.tmp.dir}/zookeeper</value>

       </property>

 

<!-----------------------以下配置为使用二级索引--------------------------!>

       <property>

              <name>hbase.use.secondary.index</name>

              <value>true</value>

       </property>

       <property>

       <name>hbase.coprocessor.master.classes</name>

       <value>org.apache.hadoop.hbase.index.coprocessor.master.IndexMasterObserver</value>

       </property>

       <property>

              <name>hbase.coprocessor.region.classes</name>

       <value>org.apache.hadoop.hbase.index.coprocessor.regionserver.IndexRegionObserver</value>

       </property>

       <property>

              <name>hbase.coprocessor.wal.classes</name>

              <value>org.apache.hadoop.hbase.index.coprocessor.wal.IndexWALObserver</value>

       </property>

 

regionservers: 添加作为RS的主机名，一行一个(实验环境namenode没有添加)

datanode1

datanode2

 

1. 启动bin/start-hbase.sh

2.进入shell:bin/hbase shell

 

六、注意事项

6.1权限问题：

    .ssh目录权限：700

    authorized_key:600

    /home/hadoop:755

 

6.2 格式化HDFS

在bin/hadoop namenode -format 前必须将各节点tmp文件清空！

 

6.3 source问题

如果每次都需要source profile:

直接在.bashrc文件中加入source /etc/profile 这行语句

 

6.4 替换Jar包

    -将hbase/lib下的hadoop-core 删除，替换为hadoop目录下的core版本

    -将hadoop/lib下所有jar包复制到hbase/lib下

    -将hbase/lib下所有jar包复制到hadoop/lib下

-将hadoop/lib、hbase/lib、hadoop-core、hbase-0.94.8.jar全部加入Eclipse的Build Path中。

 

6.5 Kettle出现 unable to connect Hbase Host port:?,无法链接Hadoop与Hbase的问题

将hadoop/lib,hbase/lib下的jar包，放入/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hadoop-20/lib/client  目录下 ，并且替换对应的hadoop-core.jar包。

 

七、文件配置

/etc/hosts

127.0.0.1  localhost

 

192.168.0.200 namenode

192.168.0.201 datanode1

192.168.0.202 datanode2

 

 

/etc/profile

 

# for hadoop

export HADOOP_HOME=/home/hadoop/hadoop-1.0.4

export HBASE_HOME=/home/hadoop/hbase-0.94.8

 

# for java

export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

exportPATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${HADOOP_HOME}/bin:${HBASE_HOME}/bin: $PATH:

 

 

/etc/sudoers

# User privilege specification

root   ALL=(ALL:ALL) ALL

hadoop ALL=(ALL:ALL) ALL

谷歌搜不到
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop Hbase 搭建
野狼e族 的博客
05-21 342
 注意事项：        1、如果hbase.rootdir 配置在hdfs上，首先确保 hdfs 服务和yarn服务已经起来。（参考 Hadoop HDFS 搭建  和 Hadoop YARN 搭建）        2、因为依赖于zookeeper服务，所以需要先启动zookeeper服务.（参考 zookeeper 搭建）        2、事先已经安装好Mysql，并默认创建了sparks...
Hadoop与Hbase环境搭建
SQG_L的博客
10-30 1127
** Hadoop与Hbase环境搭建安装 ** Hadoop环境 温馨提醒：复制粘贴的习惯需减少 一、准备工作 1、 关闭防火墙 [root@localhost ~]# systemctl stop firewalld //停止firewalld防火墙 [root@localhost ~]# systemctl disable firewalld //disable防火墙 [root@localhost ~]# systemctl status firewalld //查看firewall
ubuntu下hbase的搭建和依赖环境搭建以及相关操作
热门推荐
大壮
06-09 2万+
ubuntu从0安装HBase和HBase所依赖的环境的安装配置 简单说三步走 java环境的安装和配置 hadoop安装和配置 hbase安装和配置 我的搭建环境 ubuntu:18 软件源阿里云 java:openjdk version “1.8.0_252” Hadoop:hadoop-2.7.7 Hbase:hbase-1.4.13 由于后面需要安装openssh-server所以我在这里将软件源修改为国内的更新源 sudo vi /etc/apt/sources.l
Ubuntu 系统设置密钥登陆
Darren的博客
07-16 4650
Ubuntu 系统设置密钥登陆
Ubuntu安装hadoop(3.2.4),hbase(2.4.0),hive(3.1.0),phoenix(5.1.2)集群
fan_bigdata的博客
02-07 1354
hadoop-3.2.4,hbase-2.4.0,hive-3.1.0,phoenix-5.1.2集群安装
ubuntu 20.04 设置 authorized_keys 让 VS Code ssh 远程免密连接
坚韧与专注
09-06 1752
ubuntu 20.04 设置 authorized_keys 让 VS Code ssh 远程免密连接
ubuntu 20.04设置authorized_keys让VS Code ssh远程免密连接
高性价比服务器就选：蓝易云
03-24 434
在出现的输入框中，输入你的远程服务器的用户名和主机名（例如，username@remote_host），然后按回车键。其中，username是你的远程Ubuntu服务器的用户名，remote_host是你的远程Ubuntu服务器的IP地址或主机名。在你首次运行这个命令时，它会提示你输入远程服务器的密码。公钥将存放在~/.ssh/id_rsa.pub文件中，私钥将存放在~/.ssh/id_rsa文件中。接下来，你需要将公钥复制到你想要通过SSH连接的远程Ubuntu服务器。你应该能看到你的公钥。
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
总的来说，搭建Hadoop、HBase、Spark和Hive集群涉及多个步骤，包括安装、配置、启动以及验证。整个过程需要对大数据处理原理有深入理解，并熟悉Linux系统的操作。完成后，这个集群可以处理大量数据，支持实时查询和...
详解VMware12使用三台虚拟机Ubuntu16.04系统搭建hadoop-2.7.1+hbase-1.2.4（完全分布式）
09-30
主要介绍了详解VMware12使用三台虚拟机Ubuntu16.04系统搭建hadoop-2.7.1+hbase-1.2.4（完全分布式），具有一定的参考价值，有兴趣的可以了解一下。
Hadoop+Zookeeper+Hbase集群搭建
04-19
### Hadoop+Zookeeper+Hbase集群搭建知识点详解 #### 一、安装环境要求 **1.1 HBase与JDK兼容性** - **Apache HBase** 的版本选择需考虑其与 Java Development Kit (JDK) 的兼容性。具体而言： - Apache HBase ...
Ubuntu20.04安装Hbase、Hadoop、SSH
土豆~的博客
07-09 1889
​ 学期结束，刚好整理这一学期在NoSQL数据库中的所学作一终结，也希望能够帮助步入学习NoSQL数据库的你。 本系列文章的编撰基于Ubuntu20.04版本。 本文参照厦门大学数据库实验室。
在Ubuntu的Hadoop&Hbase安装和使用（超详细）
weixin_47027777的博客
04-04 323
以下安装链接和流程本人亲身使用过，能够成功安装，详细度足够。 Hadoop各版本下载 Hbase各版本下载 Hadoop安装及伪分布式配置 注意：该博文的3.1的yarn-site.xml的最后一个<configuraion>需要结束标志，即改为</configuration>。 yarn-site.xml应更正为以下文件： <configuration> <!--nodeManager获取数据的方式是shuffle--> <prop
Ubuntu16.04配置hadoop+Hbase+基础命令使用
huaziran的博客
12-09 2029
hadoop配置 还在黄金段位(jdk未安装)的上了钻石再来！！ 一、下载hadoop 网址：https://archive.apache.org/dist/hadoop/core/hadoop-2.7.0/ 二、文件上传Ubuntu 将下载好的hadoop传到ubantu自己账号的根目录下（我用的是Xftp，传输文件需要root账号登陆！如果遇到root无法登陆请自行百度（我踩过的坑）） 注意：配置环境要在自己的账号下，我在root账户下配置不成功（jdk也一样） 三、解压 1、防止错误先： cd ~
Ubuntu下为Hadoop安装配置Hbase教程
程序必须为人类阅读而编写，并且仅仅碰巧可以让机器执行
10-23 4862
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 下载地址：http://archive.apache.org/dist/hbase/ https://mirrors.t
Ubuntu16.04的Hadoop2.7.3安装HBase学习
qjk19940101的博客
05-02 5702
分布式数据库HBase本文有参考厦门大学数据库，表示感谢。 http://dblab.xmu.edu.cn/blog/install-hbase/作者：秦景坤时间：2017-4-28HBase介绍HBase是一个分布式的、面向列的开源数据库，源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列族(colu
关于ubuntu上面hadoop与hbase(伪分布)的安装与配置
qq_36822380的博客
03-30 847
准备工作： 需要用到的资源： hadoop-2.7.3.tar.gz hbase-1.4.9-bin.tar.gz jdk-8u201-linux-x64.tar.gz 一、jdk的安装 1.jdk官网下载jdk 选择自己需要的版本，本文选择jdk-8u201-linux-x64.tar.gz 2.把下载的jdk拷贝至linux系统，先放在linux桌面即可 3.在/usr/lib下新建目录jv...
【Pyspark-驯化】一文搞懂Pyspark中表连接的使用技巧
最新发布
志在创建优质博客、通俗易懂、助力大家提高学习效率！
08-12 503
在数据处理和分析中，表连接（Join）是一种常用的操作，用于将两个或多个表中满足特定条件的数据行组合在一起。PySpark提供了多种连接函数，允许用户根据不同的键进行内连接、外连接、左连接和右连接。PySpark中的连接函数是处理和分析数据集的重要工具。通过本博客的代码示例，我们学习了如何使用不同的连接类型和条件来合并数据。希望这篇博客能够帮助你更好地理解PySpark中的连接操作，并将其应用于实际的数据处理任务中。
Ubuntu上搭建Hadoop2.2.0+Zookeeper3.4.5+Hbase0.96.2+Hive0.13.1详细教程
"这篇教程详细介绍了如何在Ubuntu 12.04上搭建一个包含hadoop2.2.0、zookeeper3.4.5、hbase0.96.2和hive0.13.1的伪分布式环境，适合学习和测试使用。" 在大数据处理领域，Hadoop是一个开源的分布式计算框架，它允许...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值