hbase环境搭建

最新推荐文章于 2023-10-01 15:52:32 发布
最新推荐文章于 2023-10-01 15:52:32 发布
阅读量121 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 hbase hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lijieling123/article/details/112338323
版权

  • 改网络，重启服务，配置开机时为命令模式，切换为root用户

vi /etc/sysconfig/network-scripts/ifcfg-eth0

IPADDR=192.168.132.107

NETMASK=255.255.255.0

GATEWAY=192.168.132.2

DNS1=8.8.8.8

DNS2=8.8.4.4

vi /etc/inittab initdefault改为3

  •  克隆两台机子，然后改IP为108，109 （可以根据自己情况改IP）
  • 改主机名和地址映射关系，3台机子为bd7,bd8,bd9
  • 关闭防火墙 切换为root用户 

chkconfig iptables off

  • 安装jdk,hadoop、zookeeper
  • 配置SSH无密码登陆---三个机子轮流

ssh-keygen -t rsa---直接全部回车

ssh-copy-id bd7

ssh-copy-id bd8

ssh-copy-id bd9

测试 ssh bd8   ssh bd8  ssh bd9

  • 配置zookeeper--具体可以自己再查下
  • 配置Hadoop

环境变量(3台都弄)

vi /etc/profile

export JAVA_HOME=/home/bigdata02/app/jdk1.7.0_80

export HADOOP_HOME=/home/bigdata02/app/hadoop-2.7.3

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin::$HADOOP_HOME/sbin

source /etc/profile ----（生效）

Hadoop相关配置文件

修改hadoo-env.sh

export JAVA_HOME=/home/bigdata02/app/jdk1.7.0_80

修改core-site.xml

            <configuration>

                    <!-- 指定hdfs的nameservice为master -->

                    <property>

                        <name>fs.defaultFS</name>

                        <value>hdfs://ns1:9000</value>

                    </property>

                    <!-- 指定缓存大小 -->

                    <property>

                                <name>io.file.buffer.size</name>

                                <value>131072</value>

                        </property>

                    <!-- 指定hadoop临时目录 -->

                    <property>

                        <name>hadoop.tmp.dir</name>

                        <value>/home/bigdata02/app/hadoop-2.7.3/data</value>

                    </property>

                    <property>

                        <name>ha.zookeeper.quorum</name>

                        <value>bd7:2181,bd8:2181,bd9:2181</value>

                    </property>

            </configuration>

修改hdfs-site.xml

              <configuration>

                    <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->

                    <property>

                        <name>dfs.nameservices</name>

                        <value>ns1</value>

                    </property>

                    <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->

                    <property>

                        <name>dfs.ha.namenodes.bd7</name>

                        <value>nn1,nn2</value>

                    </property>

                    <!-- nn1的RPC通信地址 -->

                    <property>

                        <name>dfs.namenode.rpc-address.ns1.nn1</name>

                        <value>192.168.132.107:9000</value>

                    </property>

                    <!-- nn1的http通信地址 -->

                    <property>

                        <name>dfs.namenode.http-address.ns1.nn1</name>

                        <value>192.168.132.107:50070</value>

                    </property>

                    <!-- nn2的RPC通信地址 -->

                    <property>

                        <name>dfs.namenode.rpc-address.ns1.nn2</name>

                        <value>192.168.132.108:9000</value>

                    </property>

                    <!-- nn2的http通信地址 -->

                    <property>

                        <name>dfs.namenode.http-address.ns1.nn2</name>

                        <value>192.168.132.108:50070</value>

                    </property>

                    <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->

                    <property>

                        <name>dfs.namenode.shared.edits.dir</name>

                        <value>qjournal://192.168.132.107:8485;192.168.132.108:8485;192.168.132.109:8485/ns1</value>

                    </property>

                    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->

                    <property>

                        <name>dfs.journalnode.edits.dir</name>

                        <value>/home/bigdata02/app/hadoop-2.7.3/journal</value>

                    </property>

                    <!-- 开启NameNode失败自动切换 -->

                    <property>

                        <name>dfs.ha.automatic-failover.enabled</name>

                        <value>true</value>

                    </property>

                    <!-- 配置失败自动切换实现方式 -->

                    <property>

                        <name>dfs.client.failover.proxy.provider.ns1</name>

                        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

                    </property>

                    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->

                    <property>

                        <name>dfs.ha.fencing.methods</name>

                        <value>

                            sshfence

                            shell(/bin/true)

                        </value>

                    </property>

                    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->

                    <property>

                        <name>dfs.ha.fencing.ssh.private-key-files</name>

                        <value>/home/hadoop/.ssh/id_rsa</value>

                    </property>

                    <!-- 配置sshfence隔离机制超时时间 -->

                    <property>

                        <name>dfs.ha.fencing.ssh.connect-timeout</name>

                        <value>30000</value>

                    </property>

                </configuration>

修改mapred-site.xml

mv mapred-site.xml.template  mapred-site.xml

                <configuration>

                    <!-- 指定mr框架为yarn方式 -->

                    <property>

                        <name>mapreduce.framework.name</name>

                        <value>yarn</value>

                    </property>

                </configuration>    

修改yarn-site.xml

                <configuration>

                    <!-- 指定resourcemanager地址 -->

                    <property>

                        <name>yarn.resourcemanager.hostname</name>

                        <value>bd7</value>

                    </property>

                    <!-- 指定nodemanager启动时加载server的方式为shuffle server -->

                    <property>

                        <name>yarn.nodemanager.aux-services</name>

                        <value>mapreduce_shuffle</value>

                    </property>

                </configuration>

修改slaves bd8,bd9 指定datanode,nodemanager 

将配置好的hadoop拷贝到其他节点

###注意：严格按照下面的步骤

启动zookeeper集群（分别在bd7、bd8、bd9上启动zk）

            ./zkServer.sh start

            #查看状态：一个leader，两个follower

            ./zkServer.sh status       

启动journalnode（分别在bd7、bd8、bd9上执行）

hadoop-daemon.sh start journalnode

#运行jps命令检验

格式化HDFS

            #在bd7上执行命令: hdfs namenode -format

            #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/home/bigdata02/app/hadoop-2.7.3/data，然后将/home/bigdata02/app/hadoop-2.7.3/data拷贝到bd8的/home/bigdata02/app/hadoop-2.7.3下。

            scp -r data/ bd8:/home/bigdata02/app/hadoop-2.7.3/     

格式化ZK(在bd7上执行即可)

            hdfs zkfc -formatZK

启动HDFS(在bd7上执行)

          start-dfs.sh

启动YARN(在bd7上操作)

            start-yarn.sh

到此，hadoop配置完毕，可以统计浏览器访问:

        http://192.168.132.107:50070

        NameNode 'bd7:9000' (active)

        http://192.168.132.108:50070

        NameNode 'bd8:9000' (standby)

  • 安装hbase
  • 配置hbase

把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下

修改hbase-env.sh

export JAVA_HOME=/home/bigdata02/app/jdk1.7.0_80

//告诉hbase使用外部的zk

export HBASE_MANAGES_ZK=false

修改hbase-site.xml

    <configuration>

        <property>

                <name>hbase.rootdir</name>

                <value>hdfs://ns1/hbase</value>

        </property>

        <property>

                <name>hbase.cluster.distributed</name>

                <value>true</value>

        </property>

        <property>

                <name>hbase.zookeeper.quorum</name>

                <value>bd7:2181,bd8:2181,bd9:2181</value>

        </property>

    </configuration>

regionservers

bd7

bd8

bd9

 拷贝hbase到其他节点

启动     ./start-hbase.sh
后面启动：先启动zk,然后dfs,最后才是hbase
./zkServer.sh start    start-dfs.sh    ./start-hbase.sh
备份一个master  ./hbase-daemon.sh start master
测试：http://192.168.132.107:60010----一样还是失败了
----我靠，和版本有关，应该解决了
成功了
新版本端口是16010
lijieling123
关注
专栏目录
HBase环境搭建及使用
cp_Mark的博客
05-07 905
涉及到的知识点： HBase的基础知识点 Hbase的环境搭建：本地模式、伪分布模式、全分布模式 常用功能：命令行操作、Java编程接口（增删改查、过滤器、MapReduce的使用） HA HBase的基础知识点 HBase是一种NoSQL数据库，即非关系型数据库。常见的NoSQL数据库有： 基于key-value模型：Redis（内存） 面向列的模型：HBase、Cassand...
HBase环境搭建（单机模式）
小财迷嘻嘻的博客
09-14 1424
前言：HBase的安装有三种方式：单机模式、伪分布式、完全分布式，本文配置的是单机模式。 1、前置条件 安装Hbase之前，需要具备如下三个前置条件。 1、HBase的运行需要jdk； 2、HBSE底层存储以来于HDFS的，因此安装HBase的前提是安装hdoop环境； 3、HBase依赖于ZooKeeper来分布式协调工作，所以需要先有ZooKeeper的环境。如果只是安装单机版hbase，zookeeper使用hbase内置的即可。 2、HBase解压安装 下载hbase（建议下载hbase-1.2.1
hadoop
weixin_42738457的博客
10-16 397
Hadoop ha搭建（多次搭建整理的文档）hadoop2.7.3 ha模式搭建 ################一步错步步错请小心行事################## 1.修改Linux主机名 vim /etc/sysconfig/network 2.修改IP—配置静态IP，连接外网 vim /etc/sysconfig/network-scripts/ifcfg-eth0 具体配置： DEVICE=eth0 /*网卡名*/ HWADDR=00:0C:29:41:58:60
搭建 HBase环境
Dream_bin
06-16 607
搭建 HBase环境 1. 单机环境搭建 1.1 环境说明 centos:7 java 8 HBase 2.1.3 zookeep 2.1.13 1.2 安装路径说明 /soft/hadoop /soft/hbase 1.3 安装前置条件 HBase 需要事先安装Hadoop , zookeeper hadoop :192.168.1...
搭建Hbase环境
abingll的博客
06-26 113
一 依赖 hbase依赖hadoop和zookeeper 二 安装 1.zookeeper 解压安装包，修改conf/zoo_sample.cfg的名字为zoo.cfg，打开zoo.cfg文件并修改java_home为当前主机路径，修改dataDir为指定路径zkdata，在最后一行添加节点配置，sever.1=hostname:2888:3888，hostname为当前主机名，在zkda...
Hadoop集群+Zookeeper+HBase环境搭建
03-29
### HBase环境搭建 HBase是建立在Hadoop文件系统之上的NoSQL数据库，用于存储大量稀疏的数据表。HBase的搭建依赖于已经搭建好的Hadoop集群和Zookeeper集群。在HBase的配置文件中，指定HDFS上的表数据存储路径以及...
HBase环境搭建之全分布模式
qq_28286027的博客
10-08 1460
HBase环境搭建有三种方式：1.本地模式：只需要一个节点（只有HMaster，没有HRegionServer），不需要集成ZooKeeper，数据存储在本地文件系统上；2.伪分布模式：只需要一个节点（HMaster和HRegionServer在同一个节点上），需要集成ZooKeeper，数据存储在HDFS上；3.全分布模式：至少需要3个节点（一个HMaster节点和至少2个HRegionServ...
Hbase环境搭建
shenzhen_zsw的专栏
04-16 136
Hbase环境搭建 安装Hbase [root@spark1 soft]# rz -y [root@spark1 soft]# tar -zxvf hbase-1.0.0-cdh5.5.1.tar.gz -C /application/ [root@spark1 application]# ln -s hbase-1.0.0-cdh5.5.1 hbase 配置Hba...
HBase环境搭建
x_k_b的博客
07-06 889
HBase常见问题总结一、时间校正二、“error telling master we are up”三、“org.apache.hadoop.hbase.PleaseHoldException: Master is initializing”四、“stopping hbasecat:/tmp/hbase-root-master.pid:No such file or directory”五、HMaster启动起来之后自动挂掉（master.HMaster: Failed to become active
Hbase环境搭建--简易版
我玩的很开心的博客
06-28 1002
Hbase环境搭建 一、准备工作
Hbase的搭建教程
最新发布
2202_75334392的博客
10-01 952
【代码】Hbase的搭建教程。
org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider not found
温柔已看透的博客
07-31 4459
org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider not found 连接hadoop的hdfs报错找不到AdaptiveFailoverProxyProvider 报错配置 <property> <name>dfs.client.failover.proxy.provider.hacluster</name> <value>org.apache.hadoop.hdf
hbase高可用性分布式集群搭建（3节点超详细集群安装）
qq_34758475的博客
11-22 3450
一、前言 1.1 简述 Hbase的高可用性集群是建立在hadoop的高可用集群的基础之上的，所以在安装hbase的高可用集群之前要先创建hadoop的高可用集群。 1.2环境要求 本地环境：window7 64位 虚拟机环境：centOs 6.5 64位(三台master,slave1,slave2)，hadoop-2.7.7，hbase-1.2.8，zookeeper-3.4.13、jdk1....
namenode无法启动（namenode格式化失败）
weixin_33913377的博客
11-14 580
格式化namenode root@node04 bin]# sudo -u hdfs hdfs namenode –format 16/11/14 10:56:51 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG...
HBase环境搭建与JavaAPI编程教程：Zookeeper与配置详解
本篇文档是关于非关系型数据库HBase的实验教程，着重于HBase环境的搭建、shell操作以及Java API编程。实验涉及的关键知识点包括： 1. **Zookeeper和HBase的搭建**: - 实验首先要求在服务器上安装和配置Zookeeper...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值