CDH部署Hive、Spark、oozie、hue、sqoop等

已于 2022-07-18 14:31:04 修改
阅读量1.1k 收藏 7
点赞数 1
分类专栏： 大数据运维工作 文章标签： hive spark 大数据
于 2022-07-18 10:08:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huaicainiao/article/details/125841866
版权
本文详细介绍了在CDH环境中部署和配置Hive、Spark、Oozie、Hue以及Sqoop的步骤。包括Hive的元数据配置、Spark的安装、Oozie的配置、Hue的设置，以及对HDFS、YARN和Spark的参数优化，如域名访问、CPU资源限制和调度器配置等。
摘要由CSDN通过智能技术生成

CDH安装好后，需要进一步设置hive及spark，CDH安装部署参考
CDH安装部署

1、hive安装

1.1 添加服务

在这里插入图片描述

1.2 添加hive服务

在这里插入图片描述

1.3 将hive服务添加到集群

在这里插入图片描述

1.4 配置hive元数据

在这里插入图片描述
继续
在这里插入图片描述

1.5 自动启动hive进程

最低0.47元/天 解锁文章
菜鸟也有梦想啊
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CDH大数据平台搭建之SPARK集群搭建
qq_41924766的博客
06-16 1277
CHD大数据平台搭建之SPARK集群搭建一、安装规划二、下载1.引入库2.读入数据三、安装及配置总结 一、安装规划 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、下载 1.引入库 2.读入数据 三、安装及配置 总结 提示：这里对文章进行总结： 例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。 ...
CDH配置sqoop
jm88621的博客
01-21 1059
添加sqoop服务 打开cluster 添加服务 选择sqoop2，然后一路继续即可 4. 安装完成后查看服务 配置mysql驱动 下载mysql驱动到cdh的jars路径下 mysql驱动下载地址 root@cdh1:/opt/cloudera/parcels/CDH/jars# ll mysql-connector-java-5.1.49-bin.jar -rw-r--r-- 1 root root 1006906 1月 21 09:17 mysql-connector-java-
CDH6.2安装spark集群基础环境
最新发布
hxsln11的博客
07-31 67
在yarn配置项中搜索“yarn.nodemanager.resource.memory-mb”，修改为服务器的一半（测试环境），生产环境例如128G 调整为100G左右。关闭 检查HDFS权限的原因（详情参照https://blog.csdn.net/Yellow_python/article/details/125007739）原文链接：https://blog.csdn.net/qq_24141759/article/details/136203104。cdh001上安装server。
CDH 部署 Hive，Oozie，Hue
涵sir的博客
10-23 783
前言 在CDH集群上添加Hue，首先要部署Hive和Oozie。 Hive 是一种数据仓库系统，提供名为 HiveQL 的 SQL 类语言。 Oozie 是群集中管理数据处理作业的工作流协调服务。 Hue 是与包括 Apache Hadoop 的 Cloudera Distribution 配合使用的图形用户界面。 一、准备工作 Hive、Oozie、Hue都需要创建数据库和用户 CREATE DATABASE hive DEFAULT CHARACTER SET UTF8; CREATE USER '
大数据开发之Hive篇----部署Hive
weixin_39702831的博客
10-18 290
既然我们要安装部署hive，那么首先我们要下载一个hive的压缩包吧，这个我们统一使用cdh5.7.0版本的，因为我们的hadoop是cdh5.7.0版本的，当我们在是用这些apache组件时请大家务必将后面的尾号对其，都是使用cdh的版本。 我们使用的是hive-1.1.0-cdh5.7.0.tar.gz这个包，需要的可以向我要(毕竟下载实在太慢了，国外的源)，qq：340518941。 然...
Hadoop CDH4.5 Hive部署
weixin_33989058的博客
05-16 134
为什么80%的码农都做不了架构师？>>> ...
CDH集群部署Spark2.1.0
留不住斜阳的博客
07-30 429
需求： 在CDH5.14.0集群上部署Spark2.1.0 下载parcel包 http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera4/SPARK2-2.1.0.cloudera4-1.cdh5.13.3.p0.818552-el7.parcel http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera4/SPARK2-2.1.0.cloudera4-1.cdh5.13.3.p0.81
hadoop2.6+hive+oozie+sqoop+hue集群搭建
Chao_Qing的专栏
01-20 1337
hadoop集群搭建一、 环境说明二、 环境搭建1. Linux系统准备2. 安装jdk8并设置环境变量3. 安装mysql4. 安装hadoop5. 安装hive6. 安装sqoop7. 安装oozie8. 安装hue9. 结果展示10. 启动集群脚本 一、 环境说明 我使用的是笔记本电脑，一台8G内存，一台4G内存，然后在笔记本上搭建虚拟机centos7.0当作搭建hadoop的机器，最终的结...
CDH安装Oozie/Hue，以及其基本使用
王某的博客
05-11 6851
安装Oozie： 关于Oozie 安装Hue 关于Hue Hue的入门级使用 参考 安装Oozie： 1.登录数据库后： create database oozie default character set utf8; grant all privileges on oozie.* to ‘oozie’@’localhost’ identified b...
CDH环境Spark on Hue
L, there!
08-10 762
Hue设置 --hue_safety_valve.ini [desktop] app_blacklist= use_new_editor=true [notebook] show_notebooks=true enable_batch_execute=true enable_query_builder=true [[interpreters]] [[[hive...
CDH550@hive安装部署
11-14
cdh5.5.0下的hive的安装部署详细操作。hive的安装其实有两部分组成，一个是Server端、一个是客户端，所谓服务端其实就是Hive管理Meta的那个Hive,服务端可以装在任何节点上，当hive服务并发量不高时推荐部署在数据节点上，并发量高时推荐单独部署在若干台机器
sqoop-cdh安装包
03-07
sqoop-cdh安装过程及异常处理，并提供安装使用的工具包
sqoop-1.4.6-cdh5.14.2.tar系列安装包
08-03
sqoop-1.4.6-cdh5.14.2.tar系列安装包
2018最新高清大数据协作框架全套视频教程（Sqoop，Flume，Oozie，WEB工具Hue）
08-24
1.02_02_01_04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive伪分布式环境 网页.mp4 1.02_02_01_05 Sqoop 1安装及基本使用讲解 网页.mp4 1.02_02_01_06 使用Sqoop导入数据到HDFS及本质分析 网页.mp4 1.02_02_01_07 ...
cdh集群安装sqoop
奋斗的小鸟专栏
03-07 3559
sqoop-cdh安装：1、上传sqoop-1.4.6-cdh5.10.1.tar.gz包到/opt/sqoop目录2、解压缩文件： tar -zxf sqoop-1.4.6-cdh5.10.1.tar.gz3、设置环境变量：vim /etc/profile#添加一下内容export JAVA_HOME=/usr/java/jdk1.7.0_79export CLASSPATH=.:$JAVA_H...
cdh sqoop 配置_Sqoop 介绍、安装及环境配置
weixin_39736606的博客
12-21 379
一.SqoopSqoop介绍Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle...)间进行数据的传递，可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。一般情况下，是将数据分析的结果导出到关系型数据库中，供其他部门使用。Sqoop成立于2009年，刚开始是作为hadoop的一个模块而存在的...
CDH 安装 sqoop
frone的专栏
10-27 3673
CDH 安装 sqoop
cdh部署spark的若干问题
weixin_44021335的博客
05-24 520
cdh部署spark的若干问题前言bugs 前言 最近公司有一个给某大学部署 cdh的任务，我作为目前实习的非核心人员接下了这个活（大佬们都有项目），拿到需求之后我发现从阿帕奇的散装版本转到cdh会遇到很多坑。尤其是这种部署任务，一般公司的核心业务都不可能是这种，所以可查阅的文档也非常少，需要自己一步步的探，这里记录两个今天遇到的问题，后续碰到什么再补 bugs 1、javahome问题，我们常规的javahome配置目录可能是因人而异的，或者因公司而异的，但是在cdh环境下，javahome必须放在指定的
CDH部署到创建oozie数据库表失败
06-10
CDH 的 Oozie 服务需要使用 MySQL 或 PostgreSQL 数据库存储元数据和作业信息。如果 Oozie 服务创建数据库表失败，可能有以下一些原因： 1. 数据库配置错误：请确保您的 Oozie 服务的数据库配置信息正确，并且与您...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值