Sqoop利用Sql将mysql表_导入数据到Hive---大数据之Apache Sqoop工作笔记004

最新推荐文章于 2024-04-23 14:30:57 发布
最新推荐文章于 2024-04-23 14:30:57 发布
阅读量364 收藏
点赞数
分类专栏： 离&实时计算&大数据 文章标签： 大数据 hive sqoop sqoop导入l数据到hive Sqoop导入数据
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.csdn.net/lidew521/article/details/129155093
版权

然后来看一下把数据导入到hive中去

 

可以去官网去看看文档,有什么参数

这里用的是hive-import对吧,然后

这里hive-overwrite是覆盖

这个hive-table staff_hive 是创建 一个hive的表是 staff_hive

 

 

然后我们先去启动一下hive

启动以后,然后我们去查一下,shot tables 可以看到

里面没有staff_hive表对吧 

 

然后我们去执行上面的命令

了解本专栏 订阅专栏 解锁全文 超级会员免费看
添柴程序猿
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip
09-22
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip。。。。。。。。。。。。。。。。
mysql整个数据库迁移至hive：sqoop安装到配置、脚本使用全过程
馒 的技术空间
04-23 1009
最近需要使用hive做离线计算，但是现有的样例数据是mysql导出的sql文件。进到hive直接source导入是不行的，会报错，因为CREATE的语法貌似不太一样。找了一圈也没有直接能处理整个数据库迁移的，使用sqoop也需要一个一个表的导入，还好sqoop可以创建表，不然还得自己写创建表的语句就太崩溃了。sqoop会报很多错，一个个解决，用网上的说法和打地鼠样的，哈哈。解决方法在第二节配置里有...
sqoop增量从sqlserver导入到hive表中
hyy_blue的博客
08-28 1149
1、走过的弯路 网上很多的博客介绍的是增量从某个数据库导入hive，其实就是使用类似于这种的sqoop语句， sqoop import --driver com.microsoft.sqlserver.jdbc.SQLServerDriver --connect "jdbc:sqlserver://IP地址:1433;database=TS_Test" --username sa --password Test6530 --table data --target-dir '/user/hive/wareho
Hive 导入导出相关操作（本地、MySQL、HDFS、Sqoop） 与sql文件的导入
white_mvlog的博客
04-14 463
Hive 导入导出相关操作（本地、MySQL、HDFS、Sqoop） 与sql文件的导入
sqoop
leezsj的博客
07-26 797
sqoop 产生背景 基于传统关系型数据库的稳定性，还是有很多企业将数据存储在关系型数据库中，早期由于工具的缺乏，hadoop与传统数据库之间的数据传输非常的困难，基于前两个方面的考虑，需要一个在传统关系型数据库 和hadoop之间进行数据传输的项目，sqoop应运而生 sqoop是什么 sqoop是一个用于hadoop和结构化存储（如关系型数据库之间进行高效传输大批量数据的工具，他包括两个方面， ​ 可以用sqoop将数据从关系型数据库管理系统如mysql导入到hadoop系统（hdfs，hiv
sqoop 导入SQL server数据到Hive
vkingnew 的技术博客
05-27 1902
脚本： #!/bin/bash #Set the RDBMS topic name as bash's first params #Set the RDBMS table name as bash's second params echo "<----------------Import topic name is [$1]---------------->" echo "...
SparkSQL抽取Mysql全量数据到Hive动态分区表中
JIE的博客
12-08 4252
部分概念内容：hive学习(七)------创建动态分区_BigDate_小学生的博客-CSDN博客 前言：我这里把hive-site.xml文件放在了resource目录中，相关配置及依赖在后面。 package my_project import org.apache.spark.sql.SparkSession object my_work02 { def main(args: Array[String]): Unit = { //TODO 动态分区表demo val
用sqoop导入mysql数据到hive
qq_45755385的博客
10-07 512
用sqoop导入mysql数据到hive。
MySQL中的业务数据该如何正确导入到Hive中 - Sqoop
阿年的博客
06-02 1965
业务系统中的数据如何导入到HDFS系统中，并加载到Hive数仓中
【Sqoop】MySQL表导入Hive
LS154952447的博客
04-16 1308
用 Sqoop 将 MySQL 指定数据库指定的表导入Hive 的指定数据库。
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive） 网址：https://blog.csdn.net/chenwewi520feng/article/details/130572275 介绍sqoop从关系型数据库mysql、sybase同步到hdfs、hive中
sqoop-1.4.6.bin__hadoop-2.0.4-alpha安装包
03-05
Sqoop是一个用于在Hadoop和关系数据库或大型机之间传输数据的...您可以使用Sqoop将关系数据库管理系统（RDBMS）中的数据导入Hadoop分布式文件系统（HDFS），转换Hadoop MapReduce中的数据，然后将数据导出回RDBMS 。
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.zip
10-10
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.zip
sqoop-1.4.6.bin__hadoop-2.0.4-alpha+mysql-connector-java-5.1.40-bin+jdk-8u221
09-21
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz，mysql-connector-java-5.1.40-bin.jar，jdk-8u221-linux-x64.tar.gz.zip
ELK日志系统的搭建
adminstate的博客
04-23 1041
ELK日志系统搭建
【Hadoop】-HDFS的存储原理[4]
weixin_63106307的博客
04-20 1421
HDFS的存储原理是将大文件切分成固定大小的数据块，并在集群中的不同节点上存储数据块的，以提高数据的可靠性和性能。同时，HDFS采用流式的数据读写方式，减少了寻址的开销，提高了数据的传输效率。
ElasticSearch 入门学习
最新发布
灰熊
04-23 758
ElasticsSearch 是一个分布式的实时文档存储，每个字段可以被索引与搜索也是一个分布式实时分析搜索引擎也是一个能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据。
深入理解Java消息中间件-RabbitMQ
u011532237的博客
04-21 828
RabbitMQ是基于高级消息队列协议（AMQP）实现的一款开源消息代理软件，旨在提供高可用性、安全、互操作性强的企业消息系统。它由Erlang编写，因而继承了Erlang语言高并发、高可靠性的特点。
大数据——Zookeeper ZBA协议（四）
大数据爱好者的博客
04-20 893
对于分布式框架而言，基本上都会遵循CAP三大理论CAP(CAP理论是从客户端角度出发的！！！C(Consistency)：一致性。在一段时间内，访问这个集群获取到的数据是相同的。注意，此时，在一个时间段内，不要求每一台服务器的数据都一样，只要保证客户端获取到的数据一样就行A(Availability)：可用性。当客户端对集群中的节点发起请求的时候，节点能够在合理的时间内(一般理解为立刻)进行响应 - 时效性。注意，此处的可用性和服务器的高可用不是一回事儿！！！
sqoop mysql导入hive没有表_sqoop导入完成但是hive show tables看不到表
05-17
这将解析表的分区，并将它们添加到Hive的元数据中。 6. 如果以上步骤都没有解决问题，可以尝试使用`hive --service metastore`命令启动Hive Metastore服务，并重新运行Sqoop导入命令。 希望这些步骤可以帮助你解决...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值