如何将mysql数据导入hive中

最新推荐文章于 2024-08-28 13:47:44 发布
最新推荐文章于 2024-08-28 13:47:44 发布
阅读量7k 收藏 28
点赞数 4
分类专栏： sql 框架工具 bigdata
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/djrm11/article/details/118250535
版权
框架工具 同时被 3 个专栏收录
108 篇文章 68 订阅 ¥9.90 ¥99.00
订阅专栏
sql
61 篇文章 4 订阅
订阅专栏
bigdata
38 篇文章 0 订阅
订阅专栏
本文介绍了将MySQL数据导入Hive的四个步骤：1. 在Hive中创建与MySQL表结构对应的表；2. 导出MySQL表为txt格式；3. 使用Hadoop命令将txt文件上传至HDFS；4. 使用Hive的load data命令将文件加载到Hive表中。
摘要由CSDN通过智能技术生成

1.首先在hive中建表（尽量与mysql字段对应）

 2. 将mysql中的表导出 txt格式

 3.通过hadoop 上传到HDFS上

命令

hadoop dfs -put /home/hadoop/dim_station_trans_com_info.txt  /user/hive/external/tables/dim/dim_station_trans_com_info

前面为 hadoop文件地址 ，后面为HDSF文件地址。

4.查看HDFS上是否成功

 上传成功

4.将这个文件导入hive数据库

load data inpath '//user/hive/external/tables/dim/dim_station_trans_com_info/dim_station_trans_com_info.txt' into table dim_station_trans_com_info;

hello_world!
关注
专栏目录
订阅专栏
mysql数据导入hive_Load将Mysql数据导入Hive样例方案
weixin_35029527的博客
01-25 1440
1.1业务场景模拟使用Loader工具将客户移动电话系统产生的历史数据从原始数据库Mysql导入到Hive中，进行离线分析。1.2操作步骤1.2.1创建用户1.进入FunsionInsight Manager界面，进去系统，创建本次测试用户，给予最大权限即可。1.2.2Loader准备工作1.获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路径：“${BIGDATA_HOM...
mysql到hive调度工具_从MySQL到Hive，数据迁移就这么简单
weixin_39750598的博客
12-22 548
使用Sqoop能够极大简化MySQL数据迁移至Hive之流程，并降低Hadoop处理分析任务时的难度。先决条件:安装并运行有Sqoop与Hive的Hadoop环境。为了加快处理速度，我们还将使用Cloudera Quickstart VM(要求至少4 GB内存)，不过大家也可以使用Hortonworks Data Platform(至少要求8 GB内存)。由于我的笔记本电脑只有8 GB内存，因此我...
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去 太学浅，还是就第一种在人理解上最好的一种先记录一下 1.连接hive对外服务的组件hiveserver2 点击测试，OK之后会显示测试成功 测试直接将mysql中的stdcode表导入一下 抽取数据，插入的目标库中有没有对应为表的话点击下方的SQL，会默认执行DDL语句，create一下表，接下来NEXT 成功！当然具体的
mysql的单表数据导入到hive数据库中
最新发布
xuntaol123的博客
08-28 168
4、目标机创建和table1一样的表结构的表，创建过程中要加上这几句ROW FORMAT DELIMITED。2、将csv的后缀名手动改为txt后缀，为了让每行的的字段是以，分隔。借助dbeaver工具，将单表数据table1格式导出为csv文件。3、将得到的txt文件上传到hdfs文件系统中。5、连接hive数据库，执行导入。1、将mysql的数据导出。
将mysql数据导入到hive
weixin_51737266的博客
11-06 4351
禁止转载
美团DB数据同步到数据仓库的架构与实践
weixin_34310785的博客
12-07 1073
背景 在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。 如何准...
Sqoop将MySQL数据增量导入Hive示例
不会写代码
04-16 2785
Sqoop将MySQL数据增量导入Hive示例 #!/bin/bash export sqoop_home=/usr/bin/sqoop if [ $# -eq 1 ] then datestr=$1 else datestr=`date -d '-1 day' +%Y -%m-%d` fi start_time=`date +%Y-%m-%d` year_stat=`date +%Y` month_stat=`date +%m` jdbc_url='jdbc:mysql://ha
Mysql数据库中表名和数据导入hive数据库中
州仔
01-05 658
Mysql数据库表和数据导入hive数据库中
怎么使用sqoop将mysql数据导入Hive中
05-17
您可以按照以下步骤使用Sqoop将MySQL数据导入到Hive中： 1. 确认您的Hive和MySQL已经正确安装并且可以正常运行。 2. 在Hive中创建表，以便将MySQL中的数据导入到其中。例如，您可以使用以下命令创建一个名为...
sqoop mysql to hive_使用sqoop将mysql数据导入到hive中
weixin_35965587的博客
01-18 1422
首先准备工具环境：hadoop2.7+mysql5.7+sqoop1.4+hive3.1准备一张数据库表：接下来就可以操作了。。。一、将MySQL数据导入到hdfs首先我测试将zhaopin表中的前100条数据导出来，只要id、jobname、salarylevel三个字段。再Hdfs上创建目录hadoop fs -mkdir -p /data/base　　#用于存放数据我们cd到sqoop目录下...
使用sqoop将mysql数据导入到hive中
qq_61594973的博客
02-04 2260
这个命令是，将mysql中kk数据库中的表student导入到hive的db_msg数据库的student表（该表可不存在，会自动创建）正常情况下，可以显示所有数据库。
将mysql中的表导入到hive
keke24的博客
05-05 2749
将mysql中指定表的数据导入到hdfs sqoop import -connect jdbc:mysql://XXXXXX/database -username u -password XXXX -table sys_map 查看导入的数据： hadoop fs -cat /user/root/{tableName}/part-m-0000 将mysql中的数据导入到hive（自动创建表结构） ...
Mysql同步到Hive实例
wushuoyouting的博客
05-27 875
Mysql同步到Hive实例 以下实例均为本地模式下运行完成，主要是针对Mysql数据同步到Hive的实例说明。将介绍mysqlreader和hivewrite的所有参数配置的使用。 mysqlwrite参数说明：https://github.com/DTStack/flinkx/blob/1.10_release/docs/offline/reader/mysqlreader.md hiveread参数说明：https://github.com/DTStack/flinkx/blob/1.10_relea
sqoop： mysql to hive
Mike9955的博客
11-24 108
sqoop import --connect 数据库连接 --username 数据库用户名--password 数据库密码 --table 导入的表 -m 1 --hive-import --target-dir 临时目录 注：--target-dir 为临时目录，原因是因为sqoop导数据到hive会先将数据导入到HDFS上，然后再将数据load到hive中，最后把这个目...
mysql数据导入到hive表中
qq_45300786的博客
03-03 1079
在Hive中创建xd_phy_course数据表，其数据表结构如下表所示。使用Sqoop工具将MySQL中xiandian数据库下xd_phy_course表导入到Hive数据仓库中的xd_phy_course表中。 1，先创建一个hive表， create table h2 (stname string,stID int,class string,opt_cour string) row for...
sqoop将Mysql数据传入Hive中
07-30 532
1、HIve创建表 CREATE TABLE`piwik_log_link_visit_action` (   `idlink_va` int(11) unsigned NOT NULLAUTO_INCREMENT,   `idsite` int(10) unsigned NOT NULL,   `idvisitor` binary(8) NOT NULL,   `idvisit`
将数据从mysql导入到hive表
mathlpz126的博客
06-24 2623
代码脚本如下： #!/bin/bash # 连接mysql数据库，并查询结果，将结果输出到文件中 # 1.定义连接变量 mysql_hostname='172.28.65.133' mysql_port='3306' mysql_username='root' mysql_password='xxxxxx' # dbname='recom_video' time=`date -d "1 day ago" +"%Y-%m-%d"` save_f="t_st_video_info_${time}.txt"
使用spark将MySQL数据导入hive
KANGBboy的博客
03-10 2674
import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object spark_from_mysql_to_hive { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().master(“local[*]”).enableHiveSupport() .config(“spark.debug.maxToStri
sqoop--mysql表导入hive
WarmthYan
06-08 430
mysql 导入 hive 如果使用之前的方式 需要3个步骤： 1、mysql -> HDFS 2、创建hive表 3、将数据load到hive表中 如果可以直接把mysql的数据导入hive中进行分析，会相当的方便 bin/sqoop import \ --connect jdbc:mysql://[hostname]:3306/sqoop \ --username root \ --pa...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hello_world!

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值