SQOOP——Hive与MySQL数据互导

原创 2016年08月31日 16:32:24

从MySQL导入Hive

sqoop import --connect jdbc:mysql://192.168.11.208:3306/ecap_data?characterEncoding=utf-8 \
               --username root \
               --password root_ \
               --table tc_cfg_key_page_monitor \
               --hive-import \
               --hive-table tc_cfg_key_page_monitor \
               --fields-terminated-by '\001' \
               --m 1 \
               --hive-overwrite

从Hive导入MySQL

sqoop export --connect $C_CONNECTURL2 \
             --username $C_DBUSERNAME2 --password $C_DBPWD2 \
             --table TS_MKT_OC_OVERVIEW_DAY \
             --columns    stat_date,site_id,terminal_type_id,new_old_uv_flag,CAMPAIGN_ID,AD_POSTER_ID,view_num,view_uv_num,click_num,click_uv_num,data_time \
             --export-dir /user/hive/warehouse/hbecap.db/ts_mkt_oc_overview_day/part_year=${year}/part_month=${month}/part_day=${day} \
             --input-fields-terminated-by '\t' \
             --input-null-string '\\N' \
             --input-null-non-string '\\N'
版权声明:本文为博主原创文章,未经博主允许不得转载。

sqoop hive与mysql互导数据

sqoop mysql互导hive mysql导入到hive 环境 hive-1.1.1 sqoop-1.4.6.bin__hadoop-2.0.4-alpha mysql  Ver...
  • zhuziying99
  • zhuziying99
  • 2017年07月05日 08:19
  • 280

利用sqoop将hive和MySQL数据互导入

1.    hadoop、hive、MySQL安装(略)启动hadoop 执行start-all.sh start-dfs.sh start-yarn.sh 2.    下载sqoop #wget ...
  • oyang_mrong
  • oyang_mrong
  • 2017年12月27日 09:55
  • 117

Sqoop数据增量导入

从mysql增量导出到hive库 增量导入参数: --check-column Source column to check for incremental --incremental Defin...
  • fallow5
  • fallow5
  • 2016年12月01日 11:18
  • 2003

用Sqoop将mysql中的表和数据导入到Hive中

1、安装mysql   查询以前安装的mysql相关包   rpm -qa | grep mysql   暴力删除这个包   rpm -e mysql-libs-5.1.66-2.el6_3.i68...
  • u014729236
  • u014729236
  • 2015年04月10日 17:52
  • 13509

sqoop从HIVE导出元数据到oracle数据库中实例

1. 首先要在oracle数据库中创建需要导入的目的表,表的字段顺序要和HIVE的源表的字段定义顺序一致。类型相对应。  例如HIVE中的cfg_moudle_limit的表结构如图 元数据如...
  • whb123andy
  • whb123andy
  • 2013年12月02日 09:47
  • 2626

利用sqoop导出hive数据到 oracle

sqoop export
  • yu0216
  • yu0216
  • 2016年03月10日 14:19
  • 1240

[Sqoop]将Hive数据表导出到Mysql

利用sqoop将Hive数据表导出到Mysql
  • yeweiouyang
  • yeweiouyang
  • 2015年06月08日 10:56
  • 4095

使用Sqoop将Hive表数据导入到mysql

通过Sqoop将Hive表数据导入到Mysql通常有两种情况。 第一种是将hive上某张表的全部数据导入到mysql对应的表中。 第二种是将hive上某张表中的部分数据导入到mysql对应的表中。...
  • jun_life
  • jun_life
  • 2016年06月14日 14:22
  • 9541

使用sqoop从pg导入hive

1、首次 sqoop import --connect jdbc:postgresql://ip:5432/dc_centerdb_xy   --username dc_center_xy --pa...
  • zwahut
  • zwahut
  • 2016年11月22日 10:20
  • 675

Sqoop从mysql抽取数据到hive中

应用场景 当我们部署搭建完sqoop后,之前的数据都放到了mysql中,现在我们需要把mysql中的数据抽取到hive中,那通过sqoop该如何操作呢? 操作步骤1. 准备mysql上需要抽取的数...
  • bingoxubin
  • bingoxubin
  • 2017年11月15日 14:09
  • 292890
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:SQOOP——Hive与MySQL数据互导
举报原因:
原因补充:

(最多只允许输入30个字)