Sqoop导出hive/hdfs数据到mysql中---大数据之Apache Sqoop工作笔记006

最新推荐文章于 2024-07-25 09:48:00 发布
最新推荐文章于 2024-07-25 09:48:00 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： 离&实时计算&大数据 文章标签： 大数据 sqoop mysql Sqoop导出数据到mysql
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.csdn.net/lidew521/article/details/129155666
版权

然后我们看看数据利用sqoop,从hdfs hbase中导出到mysql中去

 

看看命令可以看到上面这个

 

这里上面还是mysql的部分,然后看看

下面--num-mappers 这个是指定mapper数

然后下面这个export-dir这里是,指定hdfs中导出数据的目录

比如这里指定的是hive的一个表/user/hive/warehouse/sttaff_hive

然后下面这个input-fields-terminated-by 这个是指定分隔符

这里我们先不指定分隔符,去执行一下去看看,而且这里,

我们的mysql表中现在是已经有staff这个表了,而且里面还有数据还没有删除,我们先执行一下看看结果 

 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
添柴程序猿
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Sqoop利用Sql将mysql表_导入数据到Hive---大数据之Apache Sqoop工作笔记004
添柴程序猿的专栏
02-22 375
hive中去,但是一定要注意, 这里你可以添加之前我们加的那些条件,比如指定列导入 ,指定查询条件导入...这样组合都是可以的。执行过程中我们去看看hdfs,可以看到,他第一步,会把mysql的数据,先导入的hdfs的临时目录中,可以看到这里。然后我们看看执行过程,他分了两个步骤执行的,一个是从mysql中拿到数据,然后放到hdfs,临时创建的目录中,然后。然后我们不停刷新,可以看到,他会把mysql中获取的数据首先导入到hdfs中去,然后。然后我们就可以去hdfs中去看看hive的这个表了,可以看到在。
[大数据 Sqoop,hive,HDFS数据操作]
汤圆的博客
06-20 982
《古风二首 / 悯农二首》 唐·李绅 春种一粒粟，秋收万颗子。四海无闲田，农夫犹饿死。锄禾日当午，汗滴禾下土。谁知盘中餐，粒粒皆辛苦。
3、Sqoop导出(HDFS到RMDB-mysql)
alanchanchn的专栏
05-09 4万+
将数据从Hadoop生态体系导出到RDBMS数据库导出前，目标表必须存在于目标数据库中。
【大数据开发运维解决方案】Sqoop增量同步mysql/oracle数据到hive(merge-key/append）测试文档
热门推荐
赵延东的一亩三分地
03-22 16万+
本片文章将通过实验详细介绍如何增量同步数据到hive，以及sqoop job与crontab定时结合无密码登录的增量同步实现方法。
Sqoop 导入导出详解(mysql-hive/hdfs)
程序员学习圈
09-17 1010
1.导入数据 在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。 1.1 mysql 数据准备 • 确定Mysql服务开启正常 • 在Mysql中新建一张表并插入一些数据 $ mysql -uroot -p123456 mysql> create d...
Sqoop将hive处理的数据导出到MySQL
weixin_62369128的博客
05-11 3624
sqoop将hive数据导出到mysql
Sqoop-day02-import-从MySQL中导入数据到hdfs中
weixin_48370579的博客
06-19 1576
import-从MySQL中导入数据到hdfs中 从传统的关系型数据库导入HDFS、HIVE、HBASE...... MySQLToHDFS 编写脚本，保存为MySQLToHDFS.conf sqoop执行脚本有两种方式：第一种方式：直接在命令行窗口中直接输入脚本；第二种方式是将命令封装成一个脚本文件，然后使用另一个命令执行 第一种方式： sqoop import \ --append \...
Sqoop笔记 —— MySQL与Hive、HBase、Hdfs的数据导入和导出
一纸春秋的博客
12-06 1314
sqoop是一个开源工具，主要用处是在Hadoop（hive，hdfs，hbase）与传统的数据库（mysql，Oracle）之间进行数据的传递 MySQL到hdfs的默认加载 首先在mysql里面建表并加载数据 然后创建一个文件夹，在里面创建编写conf文件 import --connect jdbc:mysql://master:3306/student?useSSL=false --username root --password 123456 --table student --target-d
Sqoop-day03_export-从hdfs中到出数据到MySQL中_小总结
weixin_48370579的博客
06-19 871
export-从hdfs中到出数据到MySQL中 HDFSToMySQL 编写脚本，并保存为HDFSToMySQL.conf 在往关系型数据库中导出的时候我们要先在关系型数据库中创建好库以及表，这些sqoop不会帮我们完成。 export --connect jdbc:mysql://master:3306/student?useUnicode=true&characterEncod...
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
在大数据处理中，Sqoop 提供了方便的数据导入和导出功能，它能够将结构化的数据从传统数据库迁移到 Hadoop 生态系统中的组件，如 Hive。 在本主题中，我们将深入探讨 Sqoop 的导入功能，特别是如何将数据从 MySQL ...
基于Sqoop+Hive+Spark+MySQL+AirFlow+Grafana的工业大数据离线数仓项目
03-04
在大数据项目中，AirFlow能确保数据从收集到分析的整个流程自动化、有条不紊地运行，例如设置定时任务从MySQL抽取数据，用Sqoop导入HDFS，然后启动Hive和Spark作业进行分析。 最后，Grafana是一个强大的可视化工具...
sqoop-spark-hive:MYSQL | SQOOP | 火花| HIVE工作流程
04-27
sqoop，spark，hive工作流管道它将通过两个表order和order_items产生每日收入Sqoop 以“ parquet”格式将订单和order_items数据从mysql导入到hdfs 在这里，我们正在创建sqoop作业以用于增量数据导入命令订单数据中的...
big-data-101:大数据101 Hadoop-Python-Jupyter Notebook-Sqoop-Hive
03-19
总的来说，这个压缩包覆盖了大数据处理的主要环节：从数据的获取（Sqoop）、存储（Hadoop HDFS）、分析（Hive）、编程（Python）到可视化和交互式探索（Jupyter Notebook）。对于想要深入了解大数据的初学者而言，这...
分布式系统常见软件架构模式
最新发布
Ben的专栏
07-25 940
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
SpringBoot整合Elastic-Job 2.1.53版本任务调度，手动任务，动态添加任务演示
小哇
07-23 346
zookeeper安装并成功运行。
数据分析师学习路线与就业环境分析报告
关注收藏，可以私信解决问题！
07-23 944
数据分析师负责收集、处理和分析数据，以帮助企业做出基于数据的决策。他们使用统计方法、数据建模和数据可视化技术来解释复杂的数据集。
江苏科技大学24计算机考研数据速览，有专硕复试线大幅下降67分！
m0_72717598的博客
07-23 449
江苏科技大学（Jiangsu University of Science and Technology），坐落在江苏省镇江市，是江苏省重点建设高校，江苏省人民政府与中国船舶集团有限公司共建高校，国家国防科技工业局与江苏省人民政府共建高校 ，教育部卓越工程师教育培养计划高校，教育部本科教学工作水平评估优秀学校，江苏省高水平大学建设高峰计划B类建设高校，中国船舶与海洋工程产业知识产权联盟、江苏船舶与海洋类高校协同发展联盟牵头单位。其中，研究生新生学业奖学金特等奖3万，一等奖1.2万，二等奖0.8万；
sqoop导出hive数据orc格式到mysql
04-03
1. 首先需要在MySQL中创建好目标表，包括表的结构和数据类型。 2. 然后在Hive中使用以下命令将ORC格式的数据导出到MySQL中： ``` sqoop export \ --connect jdbc:mysql://localhost:3306/test \ --username root \ --password root \ --table target_table \ --export-dir /user/hive/warehouse/source_table \ --input-fields-terminated-by '\t' \ --input-lines-terminated-by '\n' \ --input-null-string '\\N' \ --input-null-non-string '\\N' \ --input-format org.apache.hadoop.hive.ql.io.orc.OrcInputFormat \ --columns "col1,col2,col3" ``` 其中，`--connect`指定了MySQL数据库的连接地址和端口号，`--username`和`--password`指定了MySQL数据库的用户名和密码，`--table`指定了目标表的名称，`--export-dir`指定了源表在HDFS中的存储路径，`--input-fields-terminated-by`指定了源表中字段之间的分隔符，`--input-lines-terminated-by`指定了源表中行之间的分隔符，`--input-null-string`和`--input-null-non-string`指定了源表中的空值表示方式，`--input-format`指定了源表的数据格式，`--columns`指定了需要导出的字段名称。 3. 执行以上命令后，sqoop将会将ORC格式的数据从Hive中导出到MySQL中的目标表中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值