centos7安装Hadoop+hbase+hive步骤

最新推荐文章于 2024-05-28 10:55:52 发布
最新推荐文章于 2024-05-28 10:55:52 发布
阅读量1k 收藏 5
点赞数
文章标签： 大数据 运维 java
原文链接：https://my.oschina.net/lwenhao/blog/3025661
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

centos7安装Hadoop+hbase+hive步骤

一、IP、DNS、主机名

linux 静态IP、DNS、主机名配置

二、Hadoop

1. IP分配

2. 安装jdk8（四台）
yum list java*
yum install -y java-1.8.0-openjdk-devel.x86_64

默认jre jdk 安装路径是/usr/lib/jvm下面

3. 配置jdk环境变量（四台）
vim /etc/profile

export JAVA_HOME=/usr/lib/jvm/java
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin

使得配置生效

. /etc/profile

查看变量

echo $JAVA_HOME

输出 /usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64

4. 安装Hadoop

创建文件夹（四台） mkdir /lp mkdir /lp/hadoop

复制hadoop安装包到/tmp（以下开始，操作只在主节点）

解压：

tar -xzvf /tmp/hadoop-3.1.2.tar.gz
mv hadoop-3.1.2/ /lp/hadoop/

etc/hadoop/hadoop-env.sh 添加如下内容

export JAVA_HOME=/usr/lib/jvm/java/
export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"

修改etc/hadoop/core-site.xml，把配置改成：

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://192.168.1.213:9001</value>
	</property>
	<property>
		<name>io.file.buffer.size</name>
		<value>131072</value>
	</property>
</configuration>

修改etc/hadoop/hdfs-site.xml，把配置改成：

<configuration>
	<!-- Configurations for NameNode: -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/lp/hadoop/hdfs/name/</value>
	</property>

	<property>
		<name>dfs.blocksize</name>
		<value>268435456</value>
	</property>

	<property>
		<name>dfs.namenode.handler.count  </name>
		<value>100</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>192.168.1.213:8305</value>
	</property>

	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>192.168.1.214:8310</value>
	</property>

	<!-- Configurations for DataNode: -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/lp/hadoop/hdfs/data/</value>
	</property>

	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

etc/hadoop/yarn-site.xml，把配置改成：

<configuration>
<!-- Site specific YARN configuration properties -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>192.168.1.213</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>192.168.1.213:8320</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>864000</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-check-interval-seconds</name>
		<value>86400</value>
	</property>
	<property>
		<name>yarn.nodemanager.remote-app-log-dir</name>
		<value>/lp/hadoop/YarnApp/Logs</value>
	</property>
	<property>
		<name>yarn.log.server.url</name>
		<value>http://192.168.1.213:8325/jobhistory/logs/</value>
	</property>
	<property>
		<name>yarn.nodemanager.local-dirs</name>
		<value>/lp/hadoop/YarnApp/nodemanager</value>
	</property>
	<property>
		<name>yarn.scheduler.maximum-allocation-mb</name>
		<value>5000</value>
	</property>
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>1024</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>4.1</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>
</configuration>

etc/hadoop/mapred-site.xml，内容改为如下：

<configuration>
	 <property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>yarn.app.mapreduce.am.staging-dir</name>
		<value>/lp/hadoop/YarnApp/tmp/hadoop-yarn/staging</value>
	</property>
	<!--MapReduce JobHistory Server地址-->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>192.168.1.213:8330</value>
	</property>
	<!--MapReduce JobHistory Server Web UI地址-->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>192.168.1.213:8331</value>
	</property>
	<!--MR JobHistory Server管理的日志的存放位置-->
	<property>
		<name>mapreduce.jobhistory.done-dir</name>
		<value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
	</property>
<!--MapReduce作业产生的日志存放位置-->
	<property>
		<name>mapreduce.jobhistory.intermediate-done-dir</name>
		<value>${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.joblist.cache.size</name>
		<value>1000</value>
	</property>

	<property>
		<name>mapreduce.tasktracker.map.tasks.maximum</name>
		<value>8</value>
	</property>
	<property>
		<name>mapreduce.tasktracker.reduce.tasks.maximum</name>
		<value>8</value>
	</property>
	<property>
		<name>mapreduce.jobtracker.maxtasks.perjob</name>
		<value>5</value>
	</property>
</configuration>

修改etc/hadoop/workers

vim etc/hadoop/workers

hadoop3
hadoop4

压缩配置好的hadoop文件夹

tar -czvf hadoop.tar.gz /lp/hadoop/hadoop-3.1.2/

拷贝到其余节点：

scp hadoop.tar.gz root@192.168.1.214:/

解压删除：

tar -xzvf hadoop.tar.gz
rm –rf hadoop.tar.gz
5.配置Hadoop环境变量（四台）
vim /etc/profile.d/hadoop-3.1.2.sh

export HADOOP_HOME="/lp/hadoop/hadoop-3.1.2"
export PATH="$HADOOP_HOME/bin:$PATH"
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

source /etc/profile

配置hosts（四台）

vim /etc/hosts

192.168.1.213 hadoop1
192.168.1.214 hadoop2
192.168.1.215 hadoop3
192.168.1.216 hadoop4

免密码登录自身（四台）

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

master免密码登录worker【单台，只需在namenode1上执行】

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop2
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop3
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop4

格式化HDFS [只有首次部署才可使用]【谨慎操作，只在master上操作】

/lp/hadoop/hadoop-3.1.2/bin/hdfs namenode -format myClusterName

开启hadoop服务 【只在master上操作】

/lp/hadoop/hadoop-3.1.2/sbin/start-dfs.sh
/lp/hadoop/hadoop-3.1.2/sbin/start-yarn.sh

web地址

Hdfs页面：
主：192.168.1.213:8305
从：192.168.1.214:8310
Yarn页面：
192.168.1.213:8320

三、Hbase

基于以上的hadoop配置好各个节点。并且使用hbase自带的Zookeeper

分配

解压对应的hbase

tar -xzvf /tmp/hbase-2.1.2-bin.tar.gz
mv hbase-2.1.2/ /lp/hadoop/

修改/hbase-2.1.2/conf/hbase-site.xml

<property>
	<name>hbase.cluster.distributed</name>
	<value>true</value>
</property>
<property>
	<name>hbase.rootdir</name>
	<value>hdfs://192.168.1.213:9001/hbase</value>
</property>
<property>
	<name>hbase.zookeeper.quorum</name>
	<value>hadoop1,hadoop3</value>
</property>
<property>
	<name>hbase.master</name>
	<value>psyDebian:60000</value>
</property>
<property>
	<name>hbase.master.maxclockskew</name>
	<value>180000</value>
</property>
<property>
	<name>hbase.wal.provider</name>
	<value>filesystem</value>
</property>
<property>
	<name>hbase.unsafe.stream.capability.enforce</name>
	<value>false</value>
</property>

修改/hbase-2.1.2/conf/hbase-env.sh

export JAVA_HOME=/usr/lib/jvm/java/
export HBASE_CLASSPATH=/lp/hadoop/hbase-2.1.2/conf
export HBASE_MANAGES_ZK=true

修改/hbase-2.1.2/conf/regionservers

hadoop1
hadoop3

把/lp/hadoop/hbase-2.1.2/lib/client-facing-thirdparty目录下的htrace-core-3.1.0-incubating.jar 复制到/lp/hadoop/hbase-2.1.2/lib

cp /hbase-2.1.2/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar /hbase-2.1.2/lib

压缩配置好的hbase-2.1.2文件夹

tar -czvf hbase-2.1.2.tar.gz hadoop-3.1.2/

拷贝到hadoop3节点：

scp hbase-2.1.2.tar.gz root@hadoop3:/lp/hadoop

解压删除

tar -xzvf hbase-2.1.2.tar.gz
rm –rf hbase-2.1.2.tar.gz

启动

./bin/start-hbase.sh

进入shell

./bin/hbase shell

web页面访问

192.168.1.213:16010

四、Hive

基于以上配置把hive配置到hadoop1，mysql5.7安装到hadoop3

分配

解压对应的hive

tar -xzvf /tmp/apache-hive-3.1.1-bin.tar.gz
mv apache-hive-3.1.1-bin/ /lp/hadoop/

配置hive 进入apache-hive-3.1.1-bin/conf/目录 复制hive-env.sh.template 为 hive-env.sh

cp hive-env.sh.template hive-env.sh

编辑hive-env.sh

export HADOOP_HOME=/lp/hadoop/hadoop-3.1.2
export HIVE_CONF_DIR=/lp/hadoop/apache-hive-3.1.1-bin/conf
export HIVE_AUX_JARS_PATH=/lp/hadoop/apache-hive-3.1.1-bin/lib

复制hive-default.xml.template 为 hive-site.xml

cp hive-default.xml.template hive-site.xml

修改hive-site.xml

<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://hadoop3:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>

<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
</property>

<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
	<description>Username to use against metastore database</description>
</property>

<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>123456</value>
	<description>password to use against metastore database</description>
</property>

其他服务可以通过thrift接入hive，可以加上是否需要验证的配置，此处设为NONE，暂时不需要验证

<property>
	<name>hive.server2.authentication</name>
	<value>NONE</value>
</property>

复制hive-exec-log4j2.properties.template 为 hive-exec-log4j2.properties

cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

复制hive-log4j2.properties.template为hive-log4j2.properties

cp hive-log4j2.properties.template hive-log4j2.properties

下载mysql驱动放入/home/hadoop/apache-hive-3.1.1-bin/lib包中

在hadoop3安装mysql5.7版本，并且把root设置为任意主机访问或者hadoop1主机访问

use mysql;
select host,user from user;
grant all privileges  on *.* to root@'%' identified by "123456";
flush privileges;
select host,user from user;

初始化（第一次启动）

./schematool -initSchema -dbType mysql

启动

./hive
./hive --service hiveserver2

启动hiveserver2使其他服务可以通过thrift接入hive

Mysql数据库中会自动创建hive数据库

测试

beeline工具测试使用jdbc方式连接

./beeline -u jdbc:hive2://localhost:10000

端口号默认是10000

hiveserver2会启动一个WEB，端口号默认为10002，可以通过 http://192.168.1.213:10002/

转载于:https://my.oschina.net/lwenhao/blog/3025661

weixin_34162401
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Centos7下安装hadoop-2.8.3详细步骤
03-19
CentOS下安装hadoop-2.8.3详细步骤，包括如何调用原生CountWord并输出
CenOs7搭建hadoop,hbase,hive环境
qq_30758673的博客
10-10 304
centOS7安装hadoop相关环境包括: hadoop hive zookeeper HBase
大数据基础知识-Hadoop、HBase、Hive一篇搞定
最新发布
qq_41680016的博客
05-28 2872
相应的，数据库由于规模较小，因此可以支持的数据规模较小，一般单张表中能存储百万条数据(最新版的MySQL经过优化，单表中可以存储千万条或者上亿条数据，即使是一亿条数据，也就10GB大小，且此时效率会非常低)。HBase数据存储依靠HDFS，HDFS存储数据具有一次写入，多次读取的特点，其不支持对数据进行修改，但是HBase存储数据为KV型，通过对相同的K再次写入，根据TimeStamp不可逆的特点，每次写入的数据的时间戳都比上一个数据的时间戳大，从而完成版本号的维护和数据的更新。
Hadoop集群、ZooKpeeper、HBase、Hive搭建（系统centos7.0）
KingWeiGG的博客
06-28 368
目录Hadoop集群搭建一、复制虚拟机二、修改主机名和主机列表三、配置免密登录四、修改配置文件五、Hadoop运行、查看ZooKeeper搭建 需要用到的安装包： jdk-8u221-linux-x64.tar.gz提取码: tmxp MySQL-client-5.6.46-1.el7.x86_64.rpm提取码: wedy MySQL-server-5.6.46-1.el7.x86_64.rpm提取码: 6n7k hadoop提取码: ebui zookeeper提取码: 95ni hbase提取码: n
centos安装单机Hadoop、Hive
shengruxiahua2571的博客
08-30 457
1、从华为云申请一个ECS 2、配置yum源为华为镜像源，配置方式参考http://cmc-cd-mirror.rnd.huawei.com/mirror，在操作系统类中找到CentOS，点击“我要使用”，参考弹出的help信息配置ECS的yum源。 3、使用java -version检查java是否安装，若没有，则参考https://segmentfault.com/a/1190000015...
hadoop2.7+centos7+hive+zookeeper分布式安装
03-01
linux上在centos系统中进行hadoop完全分布式集群安装，在hadoop安装完成后的基础之上安装元数据库Mariadb，配置完成后安装hive，zookeeper等。
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
总的来说，搭建Hadoop、HBase、Spark和Hive集群涉及多个步骤，包括安装、配置、启动以及验证。整个过程需要对大数据处理原理有深入理解，并熟悉Linux系统的操作。完成后，这个集群可以处理大量数据，支持实时查询和...
Centos 7 zookeeper 3.1.4 + hadoop 3.1.2+Hbase 2.1.3完全分布式+高可用（HA）
01-07
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：... 一、 环境说明 主机名 Zookeeper ...(QuorumPeerMain) ...Controller
centOS 6.10 hadoop+spark+hive+HBase集群搭建
07-31
hadoop+spark+hive Linux centos大数据集群搭建，简单易懂，从0到1搭建大数据集群
Docker(Hadoop-3.3.1+HBase-2.4.16+Zookeeper-3.7.1+Hive-3.1.3)配置文件
03-21
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
基于CentOS7的Hadoop2.7.7集群部署+Hive+Zookeeper+hbase1.x+kylin2.5.0.doc
03-16
基于CentOS7的Hadoop2.7.7集群部署+Hive1.2.2+Zookeeper3.4.14集群+hbase1.x+kylin2.5.0环境搭建，以及一个简单的kylin案例介绍
CentOS7下安装Hive3
大头皮鞋的博客
05-07 1695
前提条件 安装好Hadoop，可参考：安装hadoop3 安装好mysql，并可以远程连接，可参考：安装mysql5.7 步骤 下载apache-hive-3.1.2-bin.tar.gz 下载地址：Index of /dist/hive 解压 [hadoop@node2 installfile]$ tar -zxvf apache-hive-3.1.2-bin.tar.gz -C ~/soft 重命名 [hadoop@node2 installfile]$ cd ~/s.
Hadoop2.7.3 + Hive 2.1.0 + HBase 1.2.3 整合
【昆山人在上海】
10-27 3543
首先需要一次搭建好hadoop，hive，hbase的环境，参考文档如下： http://blog.csdn.net/kunshan_shenbin/article/details/52933499 http://blog.csdn.net/kunshan_shenbin/article/details/52938294 http://blog.csdn.net/kunshan_sh
centos+hadoop+hive+hbase安装教程
Interest1_wyt的博客
06-27 561
此文章主要用于记录安装的流程和大致步骤，所以有些地方不会详细介绍。但是流程会完整介绍。另外之所以再装一套大数据环境，主要是之前的环境由于开发测试和不熟悉导致环境比较乱。所以想再重头搭建一套，并系统的配置整合各个工具，这样无论是个人开发还是学习都能有一套清晰可调的环境使用。 一、前期准备 1、工具准备 vmware：我用的是Vmware 15 pro ,上网搜很多，这里提供一个：http://www.downza.cn/soft/277470.htmlcentos：http://mirrors.aliy
Hadoop(centos)伪分布＋Hbase详细配置过程
weixin_60263012的博客
09-26 1624
总共要修改的配置文件全部都在hadoop/etc/hadoop目录下，其中hdfs-site.xml这个文件需要设置3个目录来存放一些hadoop运行过程中的临时数据，也就是在hadoop目录下，创建一个dfs和tmp，再在dfs目录下创建name和data目录。分别是hadoop-env.sh，yarn-env.sh，mapred-env.sh。在主安装目录下的conf子目录内,系统为用户准备了一个模板文件zoo_sample.cfg，我们可以将这个文件拷贝一份，命名为zoo.cfg，然后修改配置文件。
centos7配置hadoop、hbase、伪分布
weixin_58503231的博客
04-08 211
</configuration> 注意改主机名目录。3.配置文件<configuration>
基于centos7搭建haoop与hive
congge_study的博客
01-12 7328
centos7搭建hadoop
centos7下搭建hadoop、hbase、hive、spark分布式系统架构
热门推荐
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
05-14 1万+
分布式hadoop部署 首先，在http://hadoop.apache.org/releases.html找到最新稳定版tar包，我选择的是 http://apache.fayea.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 下载到/data/apache并解压 在真正部署之前，我们先了解一下hadoop的架构 hadoop分为...
Centos上搭建Hadoop+Hive+HBase环境教程
"基于Centos下Hadoop+Hive+HBase环境搭建" 在构建大数据处理平台时，常常需要集成各种组件，例如CentOS操作系统、Hadoop分布式计算框架、Hive数据仓库工具以及HBase分布式数据库。这篇内容将指导你如何在CentOS系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值