SQOOP——Hive与MySQL数据互导

原创 2016年08月31日 16:32:24

从MySQL导入Hive

sqoop import --connect jdbc:mysql://192.168.11.208:3306/ecap_data?characterEncoding=utf-8 \
               --username root \
               --password root_ \
               --table tc_cfg_key_page_monitor \
               --hive-import \
               --hive-table tc_cfg_key_page_monitor \
               --fields-terminated-by '\001' \
               --m 1 \
               --hive-overwrite

从Hive导入MySQL

sqoop export --connect $C_CONNECTURL2 \
             --username $C_DBUSERNAME2 --password $C_DBPWD2 \
             --table TS_MKT_OC_OVERVIEW_DAY \
             --columns    stat_date,site_id,terminal_type_id,new_old_uv_flag,CAMPAIGN_ID,AD_POSTER_ID,view_num,view_uv_num,click_num,click_uv_num,data_time \
             --export-dir /user/hive/warehouse/hbecap.db/ts_mkt_oc_overview_day/part_year=${year}/part_month=${month}/part_day=${day} \
             --input-fields-terminated-by '\t' \
             --input-null-string '\\N' \
             --input-null-non-string '\\N'
版权声明:本文为博主原创文章,未经博主允许不得转载。

用sqoop实现mysql和hive数据互导

1、 sqoop create-hive-table --connect jdbc:mysql://localhost:3306/sqoop --table employee --userna...

hadoop2.20+hive+sqoop+mysql数据处理案例

一、业务说明 使用Hadoop2及其他开源框架,对本地的日志文件进行处理,将处理后需要的数据(PV、UV...)重新导入到关系型数据库(Mysql)中,使用Java程序对结果数据进行处理,组织成报表的...

linux中sqoop部署以及实现mysql数据导入hive

Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ...

sqoop同步mysql数据到hive中

sqoop hive-0.13 hadoop-2.2.0

大数据案例——Hive、MySQL、HBase数据互导

本文是基于教程大数据案例——本地文件上传hive数据库,对数据在Hive,MySQL,HBase之间的互导进行进阶版的学习。数据集:淘宝用户点击商品操作数据集,共30万条记录。如果没有安装MySQL,...

利用Sqoop实现MySQL与HDFS数据互导

利用Sqoop实现MySQL与HDFS数据互导

sqoop--mysql与hdfs数据互导

此例中hadoop版本为1.2.0,sqoop版本为1.4.3,mysql版本为5.1.61。 一、从mysql到hdfs 1.下载mysql的jdbc驱动 http://dev.mysql.c...

用sqoop进行mysql和hdfs系统间的数据互导

sqoop 是apache下用于RDBMS和HDFS互相导数据的工具。 本文档是sqoop的使用实例,实现从mysql到hdfs互导数据,以及从Mysql导数据到HBase。 下载: h...

sqoop实现Mysql、Oracle与hdfs之间数据的互导

通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据 SQOOP的描述 SQOOP是用于对数据进行导入导出的。     (1)把MySQL、Oracle等数据库中的数据导...

Sqoop导入mysql数据到Hbase

Sqoop导入mysql数据到Hbase
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:SQOOP——Hive与MySQL数据互导
举报原因:
原因补充:

(最多只允许输入30个字)