安装cdh平台:安装hadoop，安装hive（十）

最新推荐文章于 2022-04-13 17:26:43 发布
最新推荐文章于 2022-04-13 17:26:43 发布
阅读量923 收藏 3
点赞数
分类专栏： 大数据总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xm_QUQ/article/details/95011381
版权

一、安装前准备

  1. 在opt目录下再建一个包cdh5.7.6：sudo mkdir -p cdh5.7.6
    在这里插入图片描述
  2. 修改权限sudo chown huadian:huadian cdh5.7.6/
    在这里插入图片描述
    3.在cdh7.5.6目录下重新安装hadoop和hive（数据库名字要改）
    上传所需要的工具：
    在这里插入图片描述

二、安装hadoop

1.使用rz命令上传

按照所需版本上传：rz

2.解压

tar -zxvf hadoop-2.6.0-cdh5.7.6.tar.gz -C ../cdh5.7.6/

3.修改环境变量

在etc目录下操作，-env.sh:

			hadoop-env.sh
		    yarn-env.sh
		    mapred-env.sh

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.common模块

core-site.xml
在这里插入图片描述

5.HDFS模块

hdfs-site.xml
在这里插入图片描述
slaves:指定DataNode运行在那些机器在上
说明：如果有多个机器，一行一个

6.启动HDFS

（1）对文件系统进行格式化

bin/hdfs namenode -format
注意：只需要一次即可

（2）格式化成功标准：

在这里插入图片描述
若有错误：一定是配置文件写错
如果进行第二次格式化，格式化之前，将临时目录删除

（3）启动服务

主节点：sbin/hadoop-daemon.sh start namenode
从节点：sbin/hadoop-daemon.sh start datanode

（4）验证是否启动

方式一： jps
在这里插入图片描述
方式二： 通过web ui查看
hdfs webui端口是50070
http://bigdata-hpsk01.huadian.com:50070
在这里插入图片描述

7.测试HDFS

帮助命令：bin/hdfs dfs
创建目录：bin/hdfs dfs -mkdir -p /datas/tmp
从上传文件：Linux→HDFS
bin/hdfs dfs -put /opt/datas/wordcount /datas/tmp/
列举目录文件：bin/hdfs dfs -put /opt/datas/wordcount /datas/tmp/
查看文件内容：bin/hdfs dfs -cat /datas/tmp/wordcount
删除文件：bin/hdfs dfs -rm -r -f /datas/tmp/wordcount
下载文件（HDFS->linux）：
bin/hdfs dfs -get /datas/tmp/wordcount /opt/modules/

8.Yarn模块

yarn-site.xml
在这里插入图片描述
salves:指定nodemanager运行在那些机器上，在配置HDFS的时候，已经配置了

9.启动Yarn

主节点：sbin/yarn-daemon.sh start resourcemanager
从节点：sbin/yarn-daemon.sh start nodemanager
在这里插入图片描述

10.验证Yarn是否启动

方式一：jps
在这里插入图片描述
方拾二：通过web ui
http://bigdata-hpsk01.huadian.com:8088
在这里插入图片描述

11.MapReduce

（1）重命名配置文件
在/opt/cdh5.7.6/hadoop-2.6.0-cdh5.7.6/etc/hadoop路径下：
mv mapred-site.xml.template mapred-site.xml
（2）修改mapred-site.xml
在这里插入图片描述

12.测试MapReduce程序

程序运行在Yarn，读取HDFS上的数据进行处理

准备数据：

/datas/temp/wordcount

MapReduce程序：

Hadoop框架给我们提供了测试程序

/opt/cdh5.7.6/hadoop-2.6.0-cdh5.7.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.6.jar

在这里插入图片描述

提交运行

程序提交到Yarn上运行只有一种方式：bin/yarn jar
在这里插入图片描述
在这里插入图片描述
将/datas/tmp/wordcount用wordcount，输出到/datas/mapreduce/output1

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.6.jar wordcount /datas/tmp/wordcount  /datas/mapreduce/output1

结果查看

（1）8088看看
在这里插入图片描述
（2）HDFS web UI 看看
在这里插入图片描述

13.历史服务配置

需求：在8088端口上，对已经结束的任务，无法查看历史信息（19888），历史信息记录：有几个Map Task，有几个Reduce task，任务什么时候提交了，什么启动，什么时候完成。
mapred-site.xml
在这里插入图片描述
启动历史服务
sbin/mr-jobhistory-daemon.sh start historyserver
在这里插入图片描述
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.6.jar wordcount /datas/tmp/wordcount /datas/mapreduce/output1
在这里插入图片描述

14.日志聚集功能

当MapReduce程序在Yarn上运行过程中，产生一些日志文件，需要将这些日志文件收集上传HDFS，以便后续监控查看
Yarn：主节点从节点
好处 ：①中央化存储，集中存储方便管理
②可以减轻ResourceManager的负载压力
yarn-site.xml
在这里插入图片描述
注意：必须重启Yarn和JobHistoryServer服务才生效，需要重新读取配置文件

在里面重新安装hadoop和hive（数据库名字要改）

三、安装Hive

1.安装Mysql

（1）检查是否已经装了MySql

 检查：rpm -qa|grep mysql
在这里插入图片描述
 使用以下命令卸载，卸载完再用上面命令检查一下

 删除：rpm -e --nodeps xxxxxxxx

（2）安装MySql

 通过yum安装MySql
 yum install -y mysql-server

（3）启动MySql服务

 MySQL的服务名：
 　　　　　　<　5.5 版本 使用 mysqld
 　　　　　　>=　5.5 版本 使用 mysql

 启动：
  service mysqld start

（4）设置开机启动

 使用以下命令查看，我这个是开着的：
 chkconfig mysqld --list
在这里插入图片描述
 这个是开启命令chkconfig mysqld on，再进行查看应该就和上图一样

（5）设置root用户命名

 /usr/bin/mysqladmin -u root password '123456'

（6）登录mysql

 mysql -uroot -p123456

（7）更改授权

 select user,host,password from user;
在这里插入图片描述
 添加授权
 grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;

 删除其他授权,只留下：
在这里插入图片描述
 刷新授权，
 flush privileges

 重启mysql服务，远程连接
 service mysqld restart

 到这里就可以远程连接数据库了

2.准备工作

（1）确保Hadoop相关进程启动

NameNode,DateNode,ResourceManager,NodeManager, JobHistoryServer
进入cd /opt/modules/hadoop-2.7.3/目录下，开启以下进程

  sbin/hadoop-daemon.sh start namenode
  sbin/hadoop-daemon.sh start datanode
  sbin/yarn-daemon.sh start resourcemanager
  sbin/yarn-daemon.sh start nodemanager
  sbin/mr-jobhistory-daemon.sh start historyserver

执行 jps查看一下:
在这里插入图片描述

（2）Mysql服务器启动

确保开启，开机启动
windows 上 Navite等工具可以连上

3.安装hive

（1）上传，解压，重命名

上传：
在这里插入图片描述
解压：tar -zxvf hive-1.1.0-cdh5.7.6.tar.gz -C ../cdh5.7.6

（2）修改配置

hive-env.sh
修改了一下名字：
mv hive-env.sh.template hive-env.sh
在这里插入图片描述
修改配置：
在这里插入图片描述
创建数据仓库
  　hive 的数据需要保存到HDFS，那么保存HDFS那个目录，是不是需要配置
 　不配置，因为它会去读默认路径，但是这些目录是空，所以需要去创建

bin/hdfs dfs -mkdir -p /user/hive/warehouse
bin/hdfs dfs -mkdir -p /tmp
bin/hdfs dfs -chmod g+w /tmp
bin/hdfs dfs -chmod g+w /user/hive/warehouse

在这里插入图片描述
在这里插入图片描述

（4）hive的基本使用

启动交互式命令：bin/hive
在这里插入图片描述

4.Hive文档

https://cwiki.apache.org/confluence/display/Hive/Home#Home-UserDocumentation

5.测试

（1）准备数据

将准备好的数据上传到Linux里
在这里插入图片描述

（2）创建数据库&表

直接使用default表
Hive创建表：

CREATE TABLE tb_word(
    word STRING,
    count INT
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
LINES TERMINATED BY '\n';

在这里插入图片描述

（3）加载数据到数据库

LOAD DATA LOCAL INPATH '/opt/datas/tb_word.txt' INTO TABLE tb_word;
在这里插入图片描述

（4）测试

SELECT
    word,count(word) count
FROM
    tb_word
GROUP BY
    word ;

在这里插入图片描述
在这里插入图片描述

6.使用Mysql存储元数据

（１）交互式命令问题

现象：
  bin/hive这个交互性命令不能同时开多个，开第二个就报错

原因：
  hive中无论是创建的 数据库还是表，这些元数据metaStore需要存储数据
  默认情况下存储在Derby数据库里面的，属于嵌入式数据，每次仅仅支持一个会话

解决：
  使用支持多个会话的数据，推荐MySQL存储元素（官方推荐）
在这里插入图片描述

（2）配置使用Mysql存储元素

文档：https://cwiki.apache.org/confluence/display/Hive/AdminManual+Metastore+Administration

① 创建配置文件

touch hive-site.xml

② 修改配置

在这里插入图片描述

③. 添加驱动

给lib目录下传所需要的驱动包：mysql-connector-java-5.1.27-bin.jar

（3）测试

1.将metastore_db 和 derbylog删除
在这里插入图片描述
2.启动 bin/hive

3.效果：
①可以启动多个bin/hive交互性命令行
②mysql数据库中可以看到那个数据库

总角之宴
关注
专栏目录
Hadoop99：大数据平台安装部署--CDH6.2版本单机
weixin_40612128的博客
02-02 3090
一、CDH介绍 CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。 二、本地单机安装测试，资源有限 操作系统：CentOS7.5 内存：8g 硬盘 ：80G cpu：2core ...
CDH大数据平台搭建之HIVE安装
qq_41924766的博客
06-10 1271
CHD大数据平台搭建之HIVE安装前言一、下载二、安装1.解压2.配置3.启动4.注意 前言 一、下载 1、官网下载 2、网盘下载 提取码：cdh5 备注：官网下载的是apache版本，网盘的是cdh5.7.6的版本 二、安装 1.解压 tar -zxvf hive-1.1.0-cdh5.7.6.tar.gz -C /opt/modules/ 2.配置 1、进入配置文件夹： cd /opt/modules/hive-1.1.0-cdh5.7.6/conf 2、重命名文件 mv hive-env.sh.
CDH版 Hadoop Hive Sqoop 安装
weixin_40652340的博客
11-29 600
快速搭建CDH版Hadoop 1、先关闭已经启动的所有服务 2、规划目录结构 3、解压Hadoop到指定目录 4、修改三个*-env.sh配置文件，Java路径   echo $JAVA_HOME 获取 Java路径     三个文件为： hadoop-env.sh yarn-env.sh mapred-env.sh  5、修改core-stie.xml         fs.d
CDH5.4.5手动安装hive-1.1.0-cdh5.4.5
allen的博客
02-15 6036
本来想在单节点上面玩玩hive和hbase的整合，结果由于单节点上面的hive和hbase版本不兼容，整合的时候报错：org.apache.hadoop.hbase.HTableDescriptor.addFamily 没有addFamily这个方法，搞了半天还是没搞定，就在5节点上的cdh上来测试，现在cdh上面没有安装hive，所以现在先记录下hive的安装。 1.卸载centOS6.5自带的
hadoop上hive的安装
weixin_30249203的博客
01-05 238
1.前言说明：安装hive前提是要先安装hadoop集群，并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装)，可以不在datanode节点的机器上安装。另外还需要说明的是，虽然修改配置文件并不需要你已经把hadoop跑起来，但是本文中用到了hadoop命令，在执行这些命令前你必须确保hadoop是在正常跑着的，而且启动hive的前提也是需要ha...
CDH6.3.2 Hive安装
程志伟的博客
03-07 4041
关注微信公共号：小程在线 关注CSDN博客：程志伟的博客 在CDH上进行Hive安装，过程如下： 1.1 添加服务 1.2 添加Hive服务 1.3 将 Hive 服务添加到 Cluster 1 1.4 配置hive元数据 填写在mysql创建的库名，用户名，密码。 1.5 测试通过后继续 1.6 自动启动Hive进程 ...
CDH下HDFS重装导致hive删除表或库报错问题
qq962464qq的博客
09-15 436
CDH重装时未重新初始化hive元数据，导致元数据中指向hdfs中的数据文件已经不存在，元数据不能删除，只能修改。 查询：select * from dbs; 可以看到，不能删除是因为路径中的nameservice1不能指向重装的hdfs 解决：修改nameservice1 update dbs set DB_LOCATION_URI=REPLACE(DB_LOCATION_URI,'nameservice1','bigdata1:8020'); 查询：select * from sd..
安装hadoopCDH5安装服务步骤.doc
01-08
通过Cloudera Manager进行CDH5的安装和配置，可以极大地简化Apache Hadoop服务的部署工作，使得安装Hive、HBase、Impala和Spark等服务变得直观和高效。这个过程涉及到了集群的网络配置、主机的添加、服务的安装以及...
yum安装CDH5.5 hive、impala的过程详解
09-15
【yum安装CDH5.5 hive、impala的过程详解】 在大数据处理中，Hive和Impala是两个关键组件，它们分别提供了数据仓库和实时分析的功能。本文将详细阐述通过YUM包管理器在CDH5.5环境下安装Hive和Impala的步骤，以及...
大数据平台CDH6.2.0安装部署
最新发布
10-27
CDH Parcel文件是Cloudera提供的大数据平台安装包，包含了Hadoop、Hive、Impala等组件。部署CDH Parcel文件需要将Parcel文件上传到/opt/cloudera/parcel-repo目录下，并更改文件的所有权。 四、配置Cloudera ...
CM安装集群时，添加hive服务使用
Axel_Fran的博客
03-09 520
添加HIve 的过程中，会要求配置 mysql, username, dbname 等连接信息。（取代了以往的在hive-site.xml 文件修改）； 添加成功，可以认为Hive已经与mysql配置好了； 验证 运行mysql; mysql> show databases; 会有曾经 装好mysql 时，创建的那些数据库 hue,hive等，我这里hive设置的数据库名称为metastore; 所以输入 use metastore database changed 再输入 show
CDH重新初始化Hive元数据库
qq_32068809的博客
10-21 2333
初始化元数据需要使用cdh hive中的schematool 脚本工具进行初始化，初始化脚本位置为cloudera/parcels/CDH/lib/hive/bin/ 接下来执行初始化命令 ./schematool -initSchema -dbType mysql --verbose 执行报错： [root@prod-bigdata-pc7 bin]# ./schematool -dbType mysql -initSchema -passWord root -userName root --
CDH5上安装Hive,HBase,Impala,Spark等服务
热门推荐
真正的才智是刚毅的志向
06-22 2万+
Apache Hadoop的服务的部署比较繁琐，需要手工处理配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群，提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试，就采用了Cloudera Manager方式进行安装。本文讲解的是parcel安装方式。
HADOOP hive 安装问题及理解及数据导入操作
lhyxcxy的博客
01-27 312
关于hive的安装请参考网上其他文章如：https://blog.csdn.net/Lee20093905/article/details/78871336，https://blog.csdn.net/vpqtxzmzezeqjj9977/article/details/80483019，https://www.cnblogs.com/jchubby/p/5449350.html，https://...
CDH安装失败了，如何重新安装
weixin_42733888的博客
06-13 1362
CDH安装失败了，如何重新安装 1> 删除Agent节点的UUID # rm -rf /opt/cm-5.4.7/lib/cloudera-scm-agent/* 2> 清空主节点CM数据库 进入主节点的Mysql数据库，然后drop database cm; 3> 删除Agent节点namenode和datanode节点信息 # rm -rf /opt/dfs/...
flink读取不到文件_Flink 作为现代数据仓库的统一引擎：Hive 集成生产就绪
weixin_39946429的博客
12-23 204
在2020年，你的数据仓库和基础设施需要满足哪些需求？我们总结了几下几点：首先，当下的企业正快速转向更实时化的模式，这要求企业具备对线上流式数据进行低延迟处理的能力，以满足实时(real-time)或近实时(near-real-time)的数据分析需求。人们对从数据产生到数据可用之间延迟的容忍度越来越低。曾经几个小时甚至几天的延误不再被接受。用户期待的是几分钟甚至几秒钟的数据端到端体验。第二，数据...
使用Apache Impala(CDH6)查询OSS的数据
weixin_34321977的博客
10-30 634
CDH6 目前CDH的最新版本是6.0.1，支持Hadoop 3.0.0，本文将介绍如何使CDH6的相关组件(Hadoop/Hive/Spark/Impala等)能够读写OSS。CDH5对OSS的支持在这篇文章介绍。 CDH6支持读写OSS 搭建CDH集群 首先根据官方文档搭建好CDH6集群 增加OSS配置 通过CM来增加配置(对于没有CM管理的集群，...
cdh安装-hdfs,yarn,zk,hive,impala
xiaoxiaojavacsdn的博客
05-28 808
简介 Cloudera hadoop 是众多hadoop 开源发行版中较为活跃与稳定的版本，在hadoop生态各个组件的版本兼容上做了一部分的优化，适合在生产环境中使用，以下简称cdh。 其自带了web管理系统，方便部署角色，监控角色状态，称为Cloudera manager，以下简称cm。 基础组件版本： 组件 版本 os ...
CDH6.3.2搭建HIVE ON TEZ步骤
ly8951677的博客
04-13 1390
CDH6.3.2搭建HIVE TO TEZ步骤
CDH3安装与部署指南：快速搭建Hadoop集群
尽管如此，单凭CDH3的安装部署无法完全体现CDH的全部潜力，因为CDH还包括了许多其他的组件和服务，如HBase、Hive、Flume等，这些在《CDH3-Installation-Guide.pdf》中会有详细阐述。 在开始CDH3的安装前，你需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值