hadoop+hbase+zookeeper

已于 2022-07-13 14:07:47 修改
阅读量557 收藏
点赞数
文章标签： hbase hadoop zookeeper
于 2022-07-12 15:50:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41050475/article/details/125743867
版权

Zookeeper+hadoop（ha）+hbase集群部署

Zookeeper+hadoop（ha）+hbase集群部署
部署zookeeper：
环境：

172.17.10.10 zk01 ZOOKEEPER
172.17.10.11 zk02 ZOOKEEPER
172.17.10.12 zk03 ZOOKEEPER
172.17.10.13 hdp01 HADOOP(NAMENODE)+HBASE(HMASTER)
172.17.10.14 hdp02 HADOOP(NAMENODE)+HBASE(HMASTER)
172.17.10.15 hdp03 HADOOP(NAMENODE)+HBASE
172.17.10.16 hdp04 HADOOP(NAMENODE)+HBASE
172.17.10.17 hdp05 HADOOP(NAMENODE)+HBASE

基础环境：
配置hosts文件：（将主节点的hosts分别拷贝到其他几个子节点）
vim /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.17.10.10 zk01
172.17.10.11 zk02
172.17.10.12 zk03
172.17.10.13 hdp01
172.17.10.14 hdp02
172.17.10.15 hdp03
172.17.10.16 hdp04
172.17.10.17 hdp05

配置免密登录：(七台依次执行）

ssh-keygen -t rsa

在主节点上执行：

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

将其他子节点的公钥拷贝到主节点并添加进authorized_keys:

scp ~/.ssh/id_rsa.pub hadoop01:~/.ssh/id_rsa_hadoop02.pub
scp ~/.ssh/id_rsa.pub hadoop01:~/.ssh/id_rsa_hadoop03.pub
scp ~/.ssh/id_rsa.pub hadoop01:~/.ssh/id_rsa_hadoop04.pub
scp ~/.ssh/id_rsa.pub hadoop01:~/.ssh/id_rsa_hadoop05.pub
scp ~/.ssh/id_rsa.pub hadoop01:~/.ssh/id_rsa_master01.pub
scp ~/.ssh/id_rsa.pub hadoop01:~/.ssh/id_rsa_master02.pub

然后在主节点上，将拷贝过来的两个公钥合并到authorized_keys文件中去主节点上执行：

cat ~/.ssh/id_rsa_hadoop02.pub >> authorized_keys
cat ~/.ssh/id_rsa_hadoop03.pub >> authorized_keys
cat ~/.ssh/id_rsa_hadoop04.pub >> authorized_keys
cat ~/.ssh/id_rsa_hadoop05.pub >> authorized_keys
cat ~/.ssh/id_rsa_master01.pub >> authorized_keys
cat ~/.ssh/id_rsa_master02.pub >> authorized_keys

将主节点的authorized_keys文件分别替换子节点的authorized_keys文件,主节点上用scp命令将authorized_keys文件拷贝到子节点的相应位置:

scp authorized_keys hadoop02:~/.ssh/
scp authorized_keys hadoop03:~/.ssh/
scp authorized_keys hadoop04:~/.ssh/
scp authorized_keys hadoop05:~/.ssh/
scp authorized_keys master01:~/.ssh/
scp authorized_keys master02:~/.ssh/

最后测试是否配置成功,在hadoop01上分别执行:

ssh hadoop02
ssh hadoop03
ssh hadoop04
ssh hadoop05
ssh master01
ssh master02

能正确跳转到两台子节点的操作界面即可，同样在每个子节点通过相同的方式登录主节点和其他子节点也能无密码正常登录就表示配置成功。

保持7台时间同步

安装jdk（七台机器都要安装）：

rpm -ivh jdk-8u161-linux-x64.rpm

配置环境变量：

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_161/
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

安装zookeeper：

tar -zxvf zookeeper-3.4.14.tar.gz -C /home/userv/
cd /home/userv/zookeeper-3.4.14/conf
cp zoo-sample.cfg zoo.cfg
vim zoo.cfg
##########################################
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
dataLogDir=/data/zookeeper/logs
clientPort=2181
server.1=zk01:2888:3888
server.2=zk02:2888:3888
server.3=zk03:2888:3888

进入设置的数据缓存目录，修改myid，如果当前服务器是server.1 myid内容就写1，server.2就写2 ，依次类推：

vim /home/appmanager/data/zookeeper/myid

1

手动创建缓存目录：

mkdir /home/appmanager/data/zookeeper

将配置好的zookeeper目录拷贝到其他两个节点：

scp -r /home/appmanager/rcs/zookeeper-3.4.14 zk02: /home/appmanager/rcs
scp -r /home/appmanager/rcs/zookeeper-3.4.14 zk03: /home/appmanager/rcs

修改zk02 zk03的myid：

vim /home/appmanager/data/zookeeper/myid
2

启动zookeeper集群：

cd  /home/appamanger/rcs/zookeeper-3.4.14/bin
./zkSERVER.sh  start
zookeeper 设置ACL：(有需要的再配置，没有需要跳过此步）
./zkCli.sh -server 
addauth digest user1:password1

安装Hadoop：

tar -zxvf hadoop-2.7.7.tar.gz -C /home/userv

配置Hadoop环境变量:

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_161/ #(注:这是JDK安装的位置)
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/appmanager/rcs/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

生效环境变量配置:
#：source /etc/profile

配置hadoop配置文件:
需要配置的文件的位置为/home/userv/hadoop-2.7.7/etc/hadoop，需要修改的有以下几个文件：
hadoop-env.sh
yarn-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
works
其中hadoop-env.sh和yarn-env.sh里面都要添加jdk的环境变量
hadoop-env.sh中添加如下代码：export JAVA_HOME=/usr/java/jdk1.8.0_161/ 到文件末尾位置：

cd /home/userv/hadoop-2.7.7/etc/hadoop

export JAVA_HOME=/usr/java/jdk1.8.0_161/
export HADOOP_HEAPSIZE=6144
export HADOOP_NAMENODE_INIT_HEAPSIZE=2048
export HADOOP_PID_DIR=/home/appmanager/data/hadoop/pids
export HADOOP_SECURE_DN_PID_DIR=/home/appmanager/data/hadoop/pids

yarn-env.sh中添加如下代码：export JAVA_HOME=/usr/java/jdk1.8.0_161/ 到文件末尾位置：

export JAVA_HOME=/usr/java/jdk1.8.0_161/
export YARN_PID_DIR=/home/appmanager/data/hadoop/pids

core-site.xml中添加如下代码：

<configuration>
 <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoopha</value>
 </property>
 <property>
     <name>hadoop.tmp.dir</name>
     <value>file:/home/appmanager/data/hadoop/tempdata</value>
 </property>
 <property>
    <name>ha.zookeeper.quorum</name>
    <value>zk01:2181,zk02:2181,zk03:2181</value>
 </property>
 <property>
 
   <name>ha.zookeeper.auth</name>
   <value>@/home/appmanager/data/core/zk-auth.txt</value>
</property>
<property>
   <name>ha.zookeeper.acl</name>
   <value>@/home/appmanager/data/core/zk-acl.txt</value>
</property>
<property>
     <name>ha.zookeeper.parent-znode</name>
     <value>/hadoop-ha</value>
</property>
 <property>
    <name>ha.zookeeper.session-timeout.ms</name>
    <value>5000</value>
 </property>
       <property>
                <name>hadoop.http.filter.initializers</name>
                <value>org.apache.hadoop.security.AuthenticationFilterInitializer</value>
        </property>
        <property>
                <name>hadoop.http.authentication.type</name>
                <value>simple</value>
        </property>
        <property>
                <name>hadoop.http.authentication.signature.secret.file</name>
                <value>/home/appmanager/data/hadoop/hdfs/hadoop-http-auth-signature-secret</value>
        </property>
<property>  
  <name>hadoop.security.authorization</name>  
  <value>true</value>  
</property>
</configuration>

hdfs-site.xml中添加如下代码：

<configuration>
 <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:/home/appmanager/data/hadoop/name</value>
 </property>
 <property>
     <name>dfs.datanode.data.dir</name>
     <value>file:/home/appmanager/data/hadoop/data</value>
 </property>
 <property>
     <name>dfs.replication</name>
     <value>2</value>
 </property>
 <!--HA配置 -->
 <property>
     <name>dfs.nameservices</name>
     <value>hadoopha</value>
 </property>
 <property>
     <name>dfs.ha.namenodes.hadoopha</name>
     <value>nn1,nn2</value>
 </property>
 <!--namenode1 RPC端口 -->
 <property>
     <name>dfs.namenode.rpc-address.hadoopha.nn1</name>
     <value>hdp01:9000</value>
 </property>
 <!--namenode1 HTTP端口 -->
 <property>
     <name>dfs.namenode.http-address.hadoopha.nn1</name>
     <value>hdp01:50070</value>
 </property>
 <!--namenode2 RPC端口 -->
 <property>
     <name>dfs.namenode.rpc-address.hadoopha.nn2</name>
     <value>hdp02:9000</value>
 </property>
  <!--namenode2 HTTP端口 -->
 <property>
     <name>dfs.namenode.http-address.hadoopha.nn2</name>
     <value>hdp02:50070</value>
 </property>
  <!--HA故障切换 -->
 <property>
     <name>dfs.ha.automatic-failover.enabled</name>
     <value>true</value>
 </property>
 <!-- journalnode 配置 -->
 <property>
     <name>dfs.namenode.shared.edits.dir</name>
     <value>qjournal://hdp01:8485;hdp02:8485;hdp03:8485;hdp04:8485;hdp05:8485/hadoopha</value>
 </property>
 <property>
     <name>dfs.client.failover.proxy.provider.hadoopha</name>
     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
 </property>
 <!--发生failover时，Standby的节点要执行一系列方法把原来那个Active节点中不健康的NameNode服务给杀掉，
             这个叫做fence过程。sshfence会通过ssh远程调用fuser命令去找到Active节点的NameNode服务并杀死它-->
 <property>
     <name>dfs.ha.fencing.methods</name>
     <value>shell(/bin/true)</value>
  </property>
   <!--SSH私钥 -->
  <property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/home/appmanager/.ssh/id_rsa</value>
  </property>
 <!--SSH超时时间 -->
  <property>
      <name>dfs.ha.fencing.ssh.connect-timeout</name>
      <value>30000</value>
  </property>
  <!--Journal Node文件存储地址 -->
  <property>
      <name>dfs.journalnode.edits.dir</name>
      <value>/home/appmanager/data/hadoop/journal</value>
  </property>
</configuration>

mapred-site.xml中添加如下代码:

（注意要将mapred-site.xml.template重命名为 .xml的文件 Mv mapred-site.xml.template mapred-site.xml）
<configuration>
<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>hdp01:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>hdp01:19888</value>
        </property>
</configuration>

yarn-site.xml中添加如下代码：

<configuration>
 
<!-- Site specific YARN configuration properties -->
<property>
         <name>yarn.resourcemanager.ha.enabled</name>
         <value>true</value>
    </property>
    <!-- 指定RM的cluster id -->
    <property>
         <name>yarn.resourcemanager.cluster-id</name>
         <value>yrc</value>
    </property>
    <!-- 指定RM的名字 -->
    <property>
         <name>yarn.resourcemanager.ha.rm-ids</name>
         <value>rm1,rm2</value>
    </property>
    <!-- 分别指定RM的地址 -->
    <property>
         <name>yarn.resourcemanager.hostname.rm1</name>
         <value>hdp01</value>
    </property>
    <property>
         <name>yarn.resourcemanager.hostname.rm2</name>
         <value>hdp02</value>
    </property>
    <!-- 指定zk集群地址 -->
    <property>
         <name>yarn.resourcemanager.zk-address</name>
         <value>zk01:2181,zk02:2181,zk03:2181</value>
    </property>
    <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
    </property>
</configuration>

workers中修改成其他子节点hosts：

hdp03
hdp04
hdp05

拷贝hadoop安装文件到子节点,主节点上执行：

scp -r /home/appmanager/rcs/hadoop-3.1.3 hdp02:/home/appmanager/rcs/
scp -r /home/appmanager/rcs/hadoop-3.1.3 hdp03:/home/appmanager/rcs/
scp -r /home/appmanager/rcs/hadoop-3.1.3 hdp04:/home/appmanager/rcs/
scp -r /home/appmanager/rcs/hadoop-3.1.3 hdp05:/home/appmanager/rcs/

数据目录需要手动创建：

mkdir -p  /home/appmanager/data/hadoop/pids /home/appmanager/data/core

配置hadoopACL文件：

vim /home/yanfaapp/rcs/core/zk-auth.txt

digest:hbase:sda&fas

在zookeeper服务器执行：

./zkCli.sh

addauth digest hbase:sda&fas
java -cp /home/yanfaapp/app/zookeeper-3.4.14/lib/*:/home/yanfaapp/app/zookeeper-3.4.14/zookeeper-3.4.14.jar org.apache.zookeeper.server.auth.DigestAuthenticationProvider hbase:"sda&fas"

在hadoop节点执行：

vim /home/yanfaapp/rcs/core/zk-acl.txt

digest:hbase:UN0ykx/giGNLqVjeKUVFNY+hklo=:rwcda

拷贝到其他hadoop节点

启动journalnode：手动启动所有journalNode节点的journalNode功能

hdfs --daemon start journalnode

在其中一台NameNode格式化zkfc：

  hdfs zkfc -formatZK

格式化主节点namenode格式化主节点namenode，并启动：

hdfs namenode -format //格式化
hdfs --daemon start namenode //打开NameNode节点

副节点同步主节点格式化：

hdfs namenode -bootstrapStandby

启动集群：

stop-all.sh
start-all.sh

搭建Hbase
解压：

tar  -zxvf   hbase-2.1.0-bin.tar.gz  -C rcs/

配置hbase-site.xml文件：

<configuration>
 <property>
                <name>hbase.rootdir</name>
                <value>hdfs://hadoopha/hbase</value>
            </property>
             <!-- 指定HMaster主机 -->
  <property>
    <name>hbase.master</name>
    <value>hdfs://hdp01:60000</value>
  </property>
 
  <!-- 启用分布式模式 -->
            <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
            </property>
 <!-- 指定独立Zookeeper安装路径 -->
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/appmanager/rcs/zookeeper-3.4.14</value>
  </property>
 
  <!-- 指定ZooKeeper集群端口 -->
             <property>
                <name>hbase.zookeeper.property.clientPort</name>
                <value>2181</value>
           </property>
            <property>
                <name>hbase.zookeeper.quorum</name>
                <value>zk01,zk02,zk03</value>
            </property>
   <property>
  <name>hbase.unsafe.stream.capability.enforce</name>
  <value>false</value>
  </property>
  
<property>
     <name>hbase.tmp.dir</name>
     <value>/home/appmanager/data/hbase/hbase-tmp</value>
</property>
<property>
     <name>zookeeper.session.timeout</name>
     <value>1200000</value>
</property>
<property>
     <name>hbase.client.write.buffer</name>
     <value>8388608</value>
</property>
<property>
     <name>hbase.regionserver.maxlogs</name>
     <value>128</value>
</property>
<property>
     <name>hbase.regionserver.hlog.blocksize</name>
     <value>536870912</value>
</property>
<property>
     <name>hbase.hstore.compaction.min</name>
     <value>10</value>
</property>
<property>
     <name>hbase.hstore.compaction.max</name>
     <value>30</value>
</property>
<property>
     <name>hbase.hstore.blockingStoreFiles</name>
     <value>100</value>
</property>
<property>
     <name>hbase.hregion.majorcompaction</name>
     <value>0</value>
</property>
<property>
     <name>hbase.regionserver.thread.compaction.large</name>
     <value>5</value>
</property>
<property>
     <name>hbase.regionserver.thread.compaction.small</name>
     <value>5</value>
</property>
<property>
     <name>hbase.regionserver.thread.compaction.throttle</name>
     <value>10737418240</value>
</property>
<property>
     <name>hbase.hstore.compaction.max.size</name>
     <value>21474836480</value>
</property>
<property>
     <name>hbase.rpc.timeout</name>
     <value>300000</value>
</property>
<property>
     <name>hbase.regionserver.regionSplitLimit</name>
     <value>150</value>
</property>
</configuration>

配置hbase-env.sh文件：

export JAVA_HOME=/usr/java/jdk1.8.0_161/
export HBASE_LOG_DIR=/home/appmanager/data/hbase/logs
 
export HBASE_OPTS="-verbose:gc -XX:+PrintGCDetails -Xloggc:${HBASE_LOG_DIR}/hbase-gc.log -XX:+PrintGCTimeStamps -XX:+PrintGCApplicationConcurrentTime -XX:+PrintGCApplicationStoppedTime \
-server -Xmx32768m -Xms32768m -Xmn3072m -Xss256k  -XX:SurvivorRatio=4 -XX:MaxPermSize=256m -XX:MaxTenuringThreshold=15 \
-XX:ParallelGCThreads=16 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC  -XX:CMSFullGCsBeforeCompaction=5 -XX:+UseCMSCompactAtFullCollection \
-XX:+CMSClassUnloadingEnabled  -XX:CMSInitiatingOccupancyFraction=70 -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSMaxAbortablePrecleanTime=5000     \
"
export HBASE_MANAGES_ZK=false

配置regionservers文件：

hdp03
hdp04
hdp05

手动创建backup-masters文件：

hdp01
hdp02

将Hadoop文件中的core-site.xml和hdfs-site.xml软连接到hbase的conf下：

ln -s /home/appmanager/rcs/hadoop-3.1.3/etc/hadoop/hdfs-site.xml /home/appmanager/rcs/hbase-2.1.0/conf/
ln -s /home/appmanager/rcs/hadoop-3.1.3/etc/hadoop/core-site.xml /home/appmanager/rcs/hbase-2.1.0/conf/

Hbase启动时 lg4j会和 Hadoop中的lg4j冲突，只更改Hmaster节点。改jar文件格式就行

cd  /home/appmanager/rcs/hbase-2.1.0/lib/client-facing-thirdparty 
mv slf4j-log4j12-1.7.25.jar slf4j-log4j12-1.7.25.jar.bak

配置HBASE环境变量/etc/profile：

export HBASE_HOME=/home/appmanager/rcs/hbase-2.1.0
export PATH=${HBASE_HOME}/bin:$PATH
cp /home/yanfaapp/app/hbase-2.1.0/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar  /home/yanfaapp/app/hbase-2.1.0/lib/

启动hbase集群：

./start-hbase.sh

最后jps查看一下集群每台运行状况

jps

3920 JournalNode
3574 NameNode
4488 ResourceManager
66249 Jps
4121 DFSZKFailoverController
56745 Main
53626 QuorumPeerMain
13707 HMaster
改改_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop+hbase+zookeeper集群配置流程及文件
08-28
hadoop集群配置流程以及用到的配置文件，hadoop2.8.4、hbase2.1.0、zookeeper3.4.12
hadoop+hbase+zookeeper安装指南
web17535224648的博客
08-17 834
usr/local/>start-hbase.sh #用于启动HBase，关闭HBase用stop-hbase.sh 速度相当慢，./bin/hdfs namenode -format，但是数据全部丢失。/usr/local/zookeeper/conf >cp zoo_sample.cfg zoo.cfg//复制一份取名为zoo.cfg。/home/jerry/>cd /usr/local/zookeeper/conf //切换到该目录。...
Hadoop开源+zookeeper+Hbase搭建整理
wap1990621的博客
01-16 766
本文章主要介绍的是搭建hadoop开源集群组件 1、Hadoop生态圈简介 我们通常说到的hadoop包括两部分，一是Hadoop核心技术（或者说狭义上的hadoop），对应为apache开源社区的一个项目，主要包括三部分内容：hdfs，mapreduce，yarn。其中hdfs用来存储海量数据，mapreduce用来对海量数据进行计算，yarn是一个通用的资源调度框架（是在hadoop2.0...
HBase分布式集群搭建（zookeeper+hadoop+hbase）超详细！
程序员进化者
05-11 1268
环境准备 zookeeper：zookeeper-3.4.14 hadoop：hadoop-2.8.5 hbase：hbase-1.4.13 master：namenode、resourcemanager， slave1：secondarynamenode、datanode， slave2：datanode 一、Hadoop集群搭建 1、hadoop安装包解压 tar zxvf hadoop-2.8.5.tar.gz 2、hadoop-env.sh、mapred-env.sh、yarn
Hadoop+ZooKeeper+HBase集群配置
肥叔菌的博客
09-07 6583
转载自来源：Linux社区 作者：jpiverson 因为需要使用Hadoop环境进行测试，收集安装教程，学习一下 通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker，这些机器是masters。余下的机器即作为DataNode也作为TaskTracker，这些机器是slaves。 先决条件 确保在你集群中的每个节点上都安装了所有必需软件：JDK，ssh。ssh 必须安装并且保证 sshd一直运行，并使用无密码链接的形式，以便用Hadoop 脚本管理端Hadoop
hadoop+Zookeeper+HBase安装（两个namenode+两个hbase）
sxj的专栏
01-06 2619
1、hadoop+Zookeeper的安装请看：https://blog.csdn.net/sunxiaoju/article/details/85642409 2、在https://hbase.apache.org/downloads.html下载hbase，我们选择2.1.1版本的bin，如下图所示： 3、将下载好的hbase-2.1.1-bin.tar.gz通过如下命令传如到mast...
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
Docker(Hadoop-3.3.1+HBase-2.4.16+Zookeeper-3.7.1+Hive-3.1.3)配置文件
03-21
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari
01-26
徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari
hadoop+zookeeper+hbase集群搭建配置说明
06-22
数据仓库hadoop+zookeeper+hbase集群安装方法记录，自己搭建纯手写的记录。相关软件请自行下载
Hadoop+HBase+ZooKeeper分布式集群环境搭建
Emil的博客
10-15 596
Hadoop+HBase+ZooKeeper分布式集群环境搭建 概述 安装准备 1.1 软件系统清单 1.2 IP 地址配置清单 准备工作 2.1 关闭防火墙 2.2 安装JDK 2.3 添加Hosts映射关系 2.4 集群之间SSH无密码登陆 Hadoop集群安装配置 3.1 安装置配置Hadoop 3.1.1 安装Hadoop 3.1.2 配置core-site.xml 3.1.3 配置ha...
Hadoop+hbase+zookeeper完全分布式搭建
keeper的博客
05-21 4318
Hadoop+hbase+zookeeper完全分布式搭建 一．环境说明 集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下： Hostname IP User Password master...
【Zookeeper+Hadoop+HBase】WMware上搭建基于Ubuntu18.04的Zookeeper+Hadoop+HBase集群
God_WZH的博客
08-20 1244
一、环境准备 1、创建3台虚拟机 并不用一次性创建3个虚拟机，只需要创建一个，然后拷贝2份，如下图创建一个wzh用户，密码123456。 保存虚拟机的名称为 Hadoop001 硬件设置如下，内存设置3G就够用了，因为本人电脑内存只有16G，创建3台3G的虚拟机就已经很吃力了 =_= ! 这里的网络设置为NAT模式，这是VMware上最简单的可以让虚拟机上网的网络模式。 ......
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
帅气陈吃苹果
12-15 6496
一、服务器环境 主机名 IP 用户名 密码 安装目录 master188 192.168.29.188 hadoop hadoop /home/hadoop/ master189 192.168.29.189 hadoop hadoop /home/hadoop/ slave190 192.168.29.190 hadoop
Hadoop及Zookeeper+HBase集群部署
weixin_33807284的博客
10-26 845
一、 集群环境 系统版本虚拟机：内存 16G CPU 双核心系统： CentOS-7 64位系统下载地址：http://124.202.164.6/files/417500000AB646E7/mirrors.163.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso 软件版本hadoop-2.8.1.tar.gzhbase-1.3...
Hadoop+Zookeeper+Hbase 集群搭建（四）
yang5324521的博客
12-05 181
(四) hbase安装及其命令 安装 A. 登录master1主机 1)解压 输入命令： 2)修改配置文件 输入命令： 需要修改的配置文件有：hbase-site.xml、hdfs-site.xml、core-site.xml、backup-masters、regionservers、hbase-env.sh 修改hbase-site.xml文件 输入命令： 修改内容： 修改hdfs-s...
hadoop、ZooKeeper、hbase集群安装史上最全流程（亲测有效）
weixin_45970532的博客
05-09 2595
配置hadoop集群、ZooKeeper集群、hbase数据库，master、s1、s2、
Hadoop集群搭建及ZooKeeper、Hbase、Hive配置
jasondde的博客
04-16 903
NadeNode和SecondaryNameNode不能放在一起，Yarn的ResourceManager不能和NameNode、SecondaryNameNode放在一起，因为这三个都会占用大量资源，放在一起容易崩溃。所有资源都可在百度网盘下载链接: https://pan.baidu.com/s/1SkUfCurICy-RtxuOuiaZ-Q 提取码: dtga。
hadoop,zookeeper,hbase之间的关系
weixin_40732165的博客
07-16 1527
Hadoop篇 hadoop是分布式系统的一个文件系统，主要有3部分分别是hdfs，yarn，mapreduce hdfs hdfs是hadoop管理储存的实现。 hdfs概念 数据块：就像单机系统（一台PC）上的数据块一样，提供磁盘读写的最小单位，也就是磁盘读某个数据时会把改块的数据一次性全部读入。不过单机系统上的数据块大小为512字节，hdfs数据块大小为128MB。 namenode和datanode：分布式系统储存和单机储存另一个不同就是，读取/写入某个数据时，分布式系统需要确定这个数据放在哪个主机
hadoop+zookeeper+hbase+hive(hql)安装步骤
最新发布
10-24
Hadoop是一个开源的分布式计算平台，Zookeeper是一个用于分布式应用协调和服务发现的分布式系统。HBase是一个分布式的、可伸缩的、面向列存储的数据库。Hive是Hadoop生态系统中一个用于数据仓库的数据查询与分析工具...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值