使用Sqoop实现HIve分析结果数据入mysql库

最新推荐文章于 2024-07-27 17:12:36 发布
最新推荐文章于 2024-07-27 17:12:36 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： sqoop hive mysql 数据的导入导出 文章标签： sqoop mysql hive 分析数据并导出
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lrf2454224026/article/details/82630855
版权

1.将hive作业中的结果，使用sqoop 导入mysql数据库。

       创建stock表并导入数据

        

       

      创建stock_result表来存放stock的查询结果

      

      自定义jar包并创建相应的函数（这一步走可以省略，可以使用hive自带的函数）

      

最低0.47元/天 解锁文章
唯爱的单
关注
专栏目录
使用Sqoop实现Mysql到Hive的数据导入
QYHuiiQ
05-11 6158
使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。 使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下： 添加jar [root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQO
利用sqoop实现mysql、hdfs、hive、hbase数据互导
alisa_Ge的博客
11-20 2132
1.利用sqoop实现mysql数据和hdfs数据互导 1.1mysql——>hdfs： 准备一张表：score create table score( sid int primary key auto_increment, student_id int not null, course_id int not null, score int not null ); 往表中插入一些数据。 insert into score(student_id,c...
sqoop将hive中数据导入mysql（实例讲解）
Saint
07-02 4000
假设这样一个场景： 数据已经导入hive（hive实例讲解看这里），现在要把hive中数据库导入出到（mysql）关系型数据库中，这里使用的工具是sqoop(sqoop详细讲解看这里)。 该怎么处理呢？ 首先，我们需要的是在mysql中建立对应的表，数据字段类型与hive数据表中要导出的数据类型保持一致； 然后，我们需要在假如你不是需要原样输出而是需要经过计算统计的话，就需要写在h...
Hive数据迁移至MySQL
最新发布
zzy66666c的博客
07-27 323
最后一行找到了与hive 数据库同名的数据库查询一下数据。
sqoop从Hive导出数据到MySQL
邹么的博客
05-26 662
（注意：该命令在sqoop安装路径的bin目录下执行）导出结束，去mysql中查看数据是否正确；数据正确，实验结束~
sqoop 导出hive数据到MySQL数据库当中
weixin_51872128的博客
11-07 4232
常用命令： 查看hive中表的结构：desc table_name; 查看hive中表的详细结构：desc formatted table_name; 我们想要将hive表中的数据导出到MySQL当中，MySQL中必须要有一个表来接收，并且该表的结构要和hive当中的表结构一致，不然会报错。 踩坑：hive当中的 string 字段对应 MySQL当中的 varchar 类型 直接上代码： sqoop export --connect "jdbc:mysql://192.1...
案例:使用hive与sqoop对网站指标进行分析
Z_Data的博客
11-14 374
<网站分析数据可留言联系获取> 需求分析： 首先对网站的日志进行分析，首先先分析两个指标就是pv 与uv 的分析，然后把分析出来的结果 导出到mysql 中进行保存   案例的实现： 首先需要把源数据加载到hive中，之后hive在对源数据创建临时表进行分析得出需要的指标 最终把得到的结果通过sqoop导出到MySQL数据库   1 对于pv： 统计网页的浏览量 2  U...
使用Sqoop实现HIve分析结果数据入库
pigziprogrammer的专栏
07-02 250
1.使用sqoop 导入mysql数据库。 创建stock表并导入数据 创建stock_result表来存放stock的查询结果 自定义jar包并创建相应的函数 将查询结果导入stock_result 2.使用shell脚本完成作业。 ...
sqoop从mysql中导入数据到parquet格式的hive中
07-07
sqoop导入数据到hive
sqoop之hive数据导入mysql
hyj
06-29 568
1、查询hive表中的student数据及信息 hive> select * from student; OK 001 xiaohong 002 002 xiaolan 002 001 xiaohong 003 002 xiaolan 003 Time taken: 0.114 seconds, Fetched: 4 row(s) hive> desc formatted student; OK # col_name data_type co
将Hive统计分析结果导入到MySQL数据库表中（三）——使用Hive UDF或GenericUDF
NIITYZU的专栏
04-23 2547
前面我分别介绍了两种Hive将分析结果导入到MySQL表的两种方式：Sqoop导入方式和使用Hive、MySQL JDBC驱动，现在我介绍第三种，也是使用比较多的方式——使用Hive 自定义函数（UDF或GenericUDF）将每条记录插入到数据库表中。 一、使用UDF方式         使用UDF方式实现比较简单，只要继承UDF类，并重写evaluate方法即可        1、编
Hive使用之通过sqoop倒数据——sqoop安装
weixin_43267534的博客
12-21 212
在大数据领域里面我们一直都是使用Hadoop来处理和存储数据的，但是有的时候我们需要将处理完的数据返回给前端UI来展示给我们的用户，但是如果让前端直接来访问我们的hdfs来拉取数据的话，这效率真的不敢想象。所以我们需要将我用Hadoop/Spark处理完的数据重新放置回RBDMS里面去，那么怎么将HDFS上面的数据传输回RBDMS上面呢？难道每次都先get到本地然后再写入数据库里面？这个时候肯定有...
大数据HIve+Sqoop实训报告（下）上
qq_Lisa的博客
07-14 572
（二）分析“数据分析”、“大数据开发工程师”、“数据采集”等大数据相关岗位在成都、北京、上海、广州、深圳的岗位数，并做饼图将结果展示出来。 2.1分析在成都地区“数据分析”、“大数据开发工程师”、“数据采集”等大数据相关岗位的岗位数 在这里插入代码片 ...
使用SQOOP将hive的数据导入到mysql
qq_29359303的博客
03-04 1464
使用SQOOP将hive的数据导入到mysql 使用SQOOP将hive的数据导入到mysql 我们一般会使用sqoop 将mysql的数据导入到hive中,但是有时候也会有需求使用。 使用的脚本如下：（一种方式） sqoop export --connect jdbc:mysql://127.0.0.1:3306/test?serverTimezone=Asia/Shanghai\&tinyInt1isBit=false\&autoReconnect=true --username r
利用sqoop将hive和mysql数据互导入(转)
qq_24095055的博客
05-26 5757
文章目录一、sqoop 将数据从mysql 导入 hive二、sqoop 将数据从hive导出到 mysql 一、sqoop 将数据从mysql 导入 hive 导入步骤为： a.先将mysql数据用sqoop导入到hdfs中 sqoop import --connect jdbc:mysql://xxx:3306/xxx \ --username xxx \ --password xxx \ --query 'select columns from table_name where $CONDITION
记一次使用sqoop从hive导入数据至mysql
AyubLIbra的博客
06-27 212
背景是将hive app应用层的数据搬运至mysql中。 1、 对于提交了sqoop 命令行 \后面不能有空格 2、导入错误时。需要去查看yarn日志 historyJob日志 1、http://10.128.100.87:19888/jobhistory 2、根据jobID查看情况。 3、查看失败的job 。 4、了解node和logs的信息。主要是点击logs查看错误信息 5、Click here for the full log. 点击here 。详细查看内容 6、找到 Caused by
大数据分析：sqoop学习笔记
Ivan_yl的博客
06-07 385
大数据分析：sqoop学习笔记1. sqoop框架介绍2. sqoop的安装配置3. sqoop的使用 1. sqoop框架介绍 sqoop是SQL到Hadoop的数据迁移工具。 SQL-to-Hadoop：Sqoop是用于在结构化数据库和Hadoop之间高效传输大批量数据的工具。 Sqoop作用是从结构化数据库向Hadoop中导入数据，也可以从Hadoop向结构化数据库导出数据。 在这里的结构化数据库可以是MySQL、Oracle或者主机等；Hadoop可以是HDFS、Hive、HBase。 导入到Ha
hive-sqoop案例
qq_27304939的博客
06-30 282
部分原始数据 27.19.74.143 - - [30/May/2013:17:38:20 +0800] "GET /static/image/common/faq.gif HTTP/1.1" 200 1127 110.52.250.126 - - [30/May/2013:17:38:20 +0800] "GET /data/cache/style_1_widthauto.c
sqoop同步hive复杂类型数据至mysql
05-25
Sqoop是一个用于在Hadoop生态系统中传输数据的工具，可以将数据从关系型数据库导入到Hadoop中，也可以将数据从Hadoop导出到关系型数据库中。但是，Sqoop并不支持直接将Hive中的复杂数据类型（如ARRAY、MAP、STRUCT等）导出到MySQL中。为了实现这个功能，需要进行一些额外的处理。 一种解决方案是使用Hive的内置函数将复杂数据类型转换为字符串，然后将其导出到MySQL中。具体步骤如下： 1. 在Hive中创建一个临时表，将需要导出的数据从源表中选择出来。 ``` CREATE TABLE temp_table AS SELECT col1, col2, CAST(col3 AS STRING) AS col3_str FROM source_table; ``` 2. 使用Sqoop将临时表中的数据导出到MySQL中。 ``` sqoop export --connect jdbc:mysql://mysql_host:3306/mysql_db --username mysql_user --password mysql_password --table mysql_table --export-dir /user/hive/warehouse/temp_table --input-fields-terminated-by '\001'; ``` 其中，`--input-fields-terminated-by`参数指定输入数据的分隔符，这里使用了Hive默认的分隔符'\001'。 3. 在MySQL中创建目标表，并将导出的数据加载到目标表中。 ``` CREATE TABLE target_table (col1 INT, col2 STRING, col3_str STRING); LOAD DATA LOCAL INFILE '/path/to/exported/file' INTO TABLE target_table FIELDS TERMINATED BY '\001'; ``` 4. 将MySQL中的col3_str列转换回Hive中的复杂数据类型。 ``` ALTER TABLE target_table ADD col3 ARRAY<STRING>; UPDATE target_table SET col3 = split(col3_str, ','); ALTER TABLE target_table DROP col3_str; ``` 这样，就可以将Hive中的复杂数据类型导出到MySQL中了。需要注意的是，这种方法只适用于较小的数据集，对于大规模数据集，可能需要使用其他方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值