关闭

sqoop将mysql数据导入到hive指定的数据库中

标签: hive数据库sqoop
5148人阅读 评论(4) 收藏 举报
分类:

本文作者:合肥工业大学 管理学院 钱洋 email:1563178220@qq.com 欢迎交流,禁止将本人博客直接复制下来,上传到百度文库等平台。

我们在使用hive时,经常需要建立一些库,以防止总是将表放到一个根目录下,没有逻辑,不容易查找。如下图所示:
这里写图片描述

之前,已经写过一篇博客,是介绍hive使用的,其地址为:http://blog.csdn.net/qy20115549/article/details/52299426

那么,如何将mysql数据导入到指定数据库中呢?

下面,直接上sqoop语句。

sqoop import -m 1 --connect jdbc:mysql://114.213.234.104:3306/forum_data_post_manage --username root --password 112233 --table comments_kun --hive-import --hive-database qianyang --hive-overwrite --create-hive-table --hive-table comments --delete-target-dir

在这个语句中,添加了这样一条语句,这里就是指定数据库的。

--hive-database qianyang
1
0
查看评论

用Sqoop2在Mysql和hadoop导入导出数据

最近在做用户刷赞排除逻辑的时候,需要结合nginx的access.log日志和Mysql中的部分记录联合查询才能做到,之前的nginx日志一直存放在hadoop中,mysql的数据则没有导入到hadoop中去过,要搞定这事还得将Mysql中的一些表导入到HDFS中去才成。虽说Sqoop的大名早已经闻...
  • zhangzhaokun
  • zhangzhaokun
  • 2015-03-14 09:40
  • 20634

用Sqoop将mysql中的表和数据导入到Hive中

1、安装mysql   查询以前安装的mysql相关包   rpm -qa | grep mysql   暴力删除这个包   rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps...
  • u014729236
  • u014729236
  • 2015-04-10 17:52
  • 13506

sqoop将mysql数据导入到hive指定的数据库中

本文作者:合肥工业大学 管理学院 钱洋 email:1563178220@qq.com 欢迎交流,禁止将本人博客直接复制下来,上传到百度文库等平台。我们在使用hive时,经常需要建立一些库,以防止总是将表放到一个根目录下,没有逻辑,不容易查找。如下图所示: 之前,已经写过一篇博客,是介绍hive使...
  • qy20115549
  • qy20115549
  • 2017-01-02 20:49
  • 5148

Java api 调用Sqoop2进行MySQL-->Hive的数据同步

1.相关jar包 2.一些需要的参数定义在message.properties中 jdbcHiveUrl=jdbc:hive2://10.1.9.91:10000 //hive地址 jdbcHiveDriver=org.apache.hive.jdbc.HiveDriver ...
  • qq_30629571
  • qq_30629571
  • 2017-09-15 17:23
  • 946

sqoop mysql数据导入Hive中

//sqoop导入数据测试 ## by coco ## 2014-11-21 1. 下载sqoop,本测试安装的hadoop-2.2.0。所以下载的sqoop为: sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz 下载地址为: http://mirrors...
  • wulantian
  • wulantian
  • 2016-10-31 10:28
  • 2521

通过sqoop进行mysql与hive的导入导出

本文主要介绍通过sqoop进行mysql与hive的导入导出。 1. 关系型数据库mysql表存取的结果,导出到hive; 2. 运用hive对结果进行清洗过滤,并将结果输出到HDFS; 3. 将HDFS的结果再次导出到关系型数据库mysql。
  • psp0001060
  • psp0001060
  • 2017-07-12 17:23
  • 1143

Hive数据仓库-Sqoop将数据从Mysql导入Hive中

Sqoop是一个实现在关系型数据库和Hive进行数据交换的工具。主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可...
  • wangyang1354
  • wangyang1354
  • 2016-10-26 17:37
  • 5532

使用Sqoop将Hive表数据导入到mysql

通过Sqoop将Hive表数据导入到Mysql通常有两种情况。 第一种是将hive上某张表的全部数据导入到mysql对应的表中。 第二种是将hive上某张表中的部分数据导入到mysql对应的表中。 两种方式的区别在于第二种情况需要指定要导入数据的列名称。两种情况的导入方式分别如下: 1.全部...
  • jun_life
  • jun_life
  • 2016-06-14 14:22
  • 9536

Sqoop2学习(二)—将MySQL数据库中数据导入到HDFS中

问题导读:         1、Sqoop客户端如何创建服务端连接?                 Sqoop的安装此处不再介绍,此处接我上一篇博文:Sqoop2学习(一)—Sq...
  • NIITYZU
  • NIITYZU
  • 2015-01-17 18:46
  • 3310

sqoop hive与mysql互导数据

sqoop mysql互导hive mysql导入到hive 环境 hive-1.1.1 sqoop-1.4.6.bin__hadoop-2.0.4-alpha mysql  Ver 14.14 Distrib 5.1.73, for redhat-linux-gnu (...
  • zhuziying99
  • zhuziying99
  • 2017-07-05 08:19
  • 279
    个人资料
    • 访问:480413次
    • 积分:5415
    • 等级:
    • 排名:第5909名
    • 原创:136篇
    • 转载:10篇
    • 译文:0篇
    • 评论:186条
    联系方式

    欢迎评论交流,正常情况每天都会查看博客!

      邮箱:1563178220@qq.com;qy20115549@126.com
      发送邮件或申请加qq好友的,请注明咨询或者源码获取,白天较少回复请留言,将相关问题说明。

      由于本人知识有限,博客难免会有错误或疏漏之处,发现会及时修正。另外本人博客仅供学习使用,未经本人允许,禁止转载,或者上传到百度文库、道客巴巴等平台

    博客专栏
    Since 2018.02.01: Flag Counter Flag Counter
    最新评论