HDP 11.sqoop 将 MySQL 数据导⼊ Hive

已于 2022-05-18 16:33:10 修改
阅读量1.4k 收藏
点赞数 1
分类专栏： HDP SQOOP # HIVE 文章标签： HDP SQOOP mysql hive ambari
于 2021-11-04 17:57:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/walykyy/article/details/121147918
版权
HDP 同时被 3 个专栏收录
28 篇文章 1 订阅 ¥59.90 ¥99.00
订阅专栏 超级会员免费看
HIVE
29 篇文章 1 订阅
订阅专栏
SQOOP
5 篇文章 0 订阅
订阅专栏
本文详细介绍了如何使用SQOOP将MySQL中的ambari.users表导入到Hive的dim_v8sp数据库中。首先，创建ETL用户并设置Kerberos票据，然后在Ambari服务器上配置数据库只读账号。接着，在客户端执行SQL脚本，配置数据库连接文件，并在Hive中创建外部表和内部表。最后，编写并执行SQOOP脚本，将任务部署到Azkaban进行数据迁移。
摘要由CSDN通过智能技术生成

十二、 sqoop  将 MySQL 数据导⼊ Hive

1、 将 ambari.users 表导入到 dim_v8sp 

数据库在 client-v01 服务器创建 etl 用户 HOME目录，生成kerberos票据文件，并添加 crontab以定期刷新飘据到缓存。

cd /home/;

cp -r ./bigdata ./etl;

chown -R etl:etl ./etl;

rm -rf /home/etl/security/keytabs/bigdata.keytab;

su - etl

kinit admin

ipa-getkeytab -s ipa-v01.tianlingqun.com -p${USER}@tianlingqun.COM -k /home/${USER}/security/keytabs/${USER}.keytab

kinit -k -t /home/etl/security/keytabs/etl.keytab etl@tianlingqun.COM

kli

了解本专栏 订阅专栏 解锁全文 超级会员免费看
80后大叔爱学习
关注
专栏目录
订阅专栏
sqoop从MySQL数据库导入hive中
weixin_49797595的博客
08-17 199
需求场景 将MySQL中的某张表导入到hive中 需添加一些插入时间及插入方式的新字段 代码 sqoop import \ -D sqoop.parquet.logical_types.decimal.enable=true \ -D parquetjob.configurator.implementation=hadoop \ -D sqoop.avro.decimal_padding.enable=true \ -D sqoop.avro.logical_types.decimal.default.
使用sqoop从mysql导入到hive一张名叫warehouse的表引发的问题
LiaoQiang_big的博客
10-28 204
今天,我使用sqoop导入数据的时候遇到一个很奇怪的问题,我将mysql一张名为warehouse的表导入到hive的时候,出现如下报错 提示我没有hdfs改路径的写入权限?但是正常情况我写入hdfs的路径不应该是这个路径啊,难道是日志打错了?于是我重试了几次,发现还是不行;难道是sqoop出了问题?但是我导其他表也没有问题啊; 那只能是这个表有问题了,表名为warehouse,我们hive的库也叫warehouse,可能是有什么冲突? 然后我换了种方式,使用sqoop导入hdfs的方式,指定导入.
在hdp中使用hive往数据库中插入数据
Hi_this_is_ID的博客
10-17 925
hive :hdp-3是主机 启动所有集群（hdfs （start-all.sh） kafka（./kafkaManager.sh start）zookeeper（./zkmanager.sh start）） 在hdp-3上启动 hiveservers2 cd apps/apache-hive-1.2.1-bin/bin hiveserver2 在hdp-4上查看数据库databa...
HDP 2.5集成Sqoop2
风起于青萍之末
04-09 1499
前言HDP 2.5默认只有Sqoop 1，而sqoop 1只有客户端，没有服务端，也不能通过Java Api来进行操作，所以需要集成一下Sqoop2，其实这里我们只需要启动Sqoop2的Server端即可。环境 CentOS 7.x HDP 2.5 JDK 1.8 Sqoop1.99.7 注：sqoop 1.99.7其实就是Sqoop2配置配置很简单，下载好sqoop2后，解压到一个路径，如：/us
【大数据】大数据 Hadoop 管理工具 Apache Ambari（HDP）
匠人精神，持之以恒！
06-13 4594
Apache Ambari 是 Hortonworks 贡献给Apache开源社区的顶级项目，它是一个基于web的工具，用于安装、配置、管理和监视 Hadoop 集群。 Ambari 目前已支持大多数 Hadoop 组件，包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop 和 Hcatalog 等。
在使用sqoop拉取mysql的数据到hive中的ods层时，报错ERROR manager.SqlManager，怎么解决？
qq_43368947的博客
07-09 567
问题详情 1.在用sqoop拉取mysql数据到hdfs上映射到hive的ods层的时候，报错数据库权限问题。 2.拉取数据的代码展示 sqoop job --delete ods_user05 sqoop job --create ods_user05 \ -- import \ --connect jdbc:mysql://192.168.1.54:3306/snbap_ods \ --driver com.mysql.jdbc.Driver \ --username root \ --passwor
解决：Sqoop导入数据到Hive连接hiveserver2卡住
我的博客
07-27 2888
问题 执行sqoop job要将mysql中数据导入hive表，执行到连接hiveserver2时就卡住不动 单独执行连接hiveserver2可以正常连接 Import options: sqoop import --connect jdbc:mysql://xxx:3306/test --username xxxxx --password xxxxxx --table t_user --fields-terminated-by '\001' --hive-import --hive-data
mysql to hive_从MySQL到Hive，数据迁移就这么简单
weixin_29889741的博客
01-18 1148
使用Sqoop能够极大简化MySQL数据迁移至Hive之流程，并降低Hadoop处理分析任务时的难度。先决条件:安装并运行有Sqoop与Hive的Hadoop环境。为了加快处理速度，我们还将使用Cloudera Quickstart VM(要求至少4 GB内存)，不过大家也可以使用Hortonworks Data Platform(至少要求8 GB内存)。由于我的笔记本电脑只有8 GB内存，因此我...
sqoop从Hive同步数据到Oracle
戴着红领巾走世界
05-07 2660
最近工作中需要对Hive工单数据和oracle数据业务数据合起来出报表，所以需要从hive把工单数据同步到oracle中，这就用到了sqoop。 安装sqoop 由于我们是用的Ambari进行HDP的管理安装，所以只要在Ambari控制台中安装即可（当然也可以自己下包在主机上安装），安装完如下图所示： 官网参考文档传送门！ ...
使用Sqoop实现Mysql到Hive的数据导入
QYHuiiQ
05-11 6176
使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。 使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下： 添加jar [root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQO
hbase数据导入导出工具使用
mumuxd的专栏
05-07 3595
hbase除了直接调用put接口将数据乾
hive：建库建表、表分区、内部表外部表、数据导入导出
琦彦
09-25 7004
hive建库建表与数据导入 建库 hive中有一个默认的库： 库名： default 库目录：hdfs://hdp20-01:9000/user/hive/warehouse   新建库： create database db_order; 库建好后，在hdfs中会生成一个库目录： hdfs://hdp20-01:9000/user/hive/warehouse/db_or...
Sqoop1和Sqoop2的刨析对比
热门推荐
Thinkgamer博客
02-18 2万+
Sqoop是一款开源的工具，主要用于在Hadoop和传统的数据库(MySQL、postgresql等)进行数据的传递，可以将一个关系型数据库（例如：MySQL、Oracle、Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。 Sqoop目
Sqoop 加载数据到ORC表
数据源的港湾
03-21 7812
sqoop目前支持直接从RDBMS加载数据到Hive的ORC表，这可以通过两种方式实现。 先创建Hive ORC表，然后用sqoop import命令将数据导入到Hive ORC表 利用sqoop import同时创建Hive ORC表并加载数据 这里简单测试一些用sqoop从Oracle表导入到Hive ORC表，具体方法如下 （1）//hive CLI创建orc测试表 hive> create
Pandas第三次作业20200907
Narutolxy的博客
09-07 1736
练习1 • 读取北向.csv 指定第一列为行索引 • 查看数据的基本信息 有无缺失值 对其缺失值进行处理 • 删除缺失值所在行 • 查看数据的基本信息 查看数据是否清洗完毕 • index列没啥用 将index列删除 • 观察数据是否有重复行 • 将重复行进行删除 • 将行索引 进行升序 • 将处理好的数据 保存至 北向(副).csv #！/user/bin/env python #-*-coding: utf-8-*- #@Time : 2020/9/719:53 #@Author
mysql kerberos_sqoop集成Kerberos
weixin_39616798的博客
02-07 266
创建密钥文件 /var/opt/app/keytab/zkcli.keyTab创建配置文件：/var/opt/app/keytab/gss-jaas.confcom.sun.security.jgss.initiate {com.sun.security.auth.module.Krb5LoginModule requireduseKeyTab=trueuseTicketCache=falsepr...
用sqoop将mysql的数据导入到hive表中
weixin_33929309的博客
12-07 557
1：先将mysql一张表的数据用sqoop导入到hdfs中 准备一张表 需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下 bin/sqoop import \ ...
ERROR! The server quit without updating PID file (/data/mysql/hdp11.pid).
最新发布
12-28
根据提供的引用内容，出现这个错误可能是由于MySQL服务器无法更新PID文件导致的。可能的原因是MySQL用户没有对数据目录的权限。解决方法是给予MySQL用户...这将把数据目录的所有者和组设置为mysql用户，解决权限问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

80后大叔爱学习

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值