sqoop
逗点儿
大数据爱好者,菜鸟
展开
-
sqoop安装及驱动问题
sqoop 下载及解压 链接地址:http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gz解压:tar -zxvf sqoop-1.4.6-cdh5.7.0.tar.gzsqoop 添加环境变量 hadoop:hadoop:/home/hadoop:>vi .bash_profile # .bash_profil原创 2018-01-24 16:14:02 · 1753 阅读 · 0 评论 -
sqoop导出到mysql的字符集乱码问题
我将在HDFS中的文件导入到已将建好的MySQL表中。可是出现了如下问题:mysql> select * from endsql_table;+------+-----------+------+------+----------+| area | pname | pnum | rank | day |+------+-----------+------+-----原创 2018-01-25 14:42:13 · 2502 阅读 · 0 评论 -
Sqoop+Hive+MySQL用户某时间范围,区域最受欢迎的Top N的产品 初级版
数据展示: 1.city_info mysql> select * from city_info;+---------+-----------+--------+| city_id | city_name | area |+---------+-----------+--------+| 1 | 北京 | 华北 || 2 | 上海原创 2018-01-25 15:23:50 · 388 阅读 · 0 评论 -
Sqoop+Hive+MySQL用户某时间范围,区域最受欢迎的Top N的产品 中级版
写了两个脚本,一个处理了数据分析的一部分,一个处理了hive导回mysql,脚本刚开始接触,实在是不怎么样,大家对付看处理数据分析hadoop:hadoop:/home/hadoop/project:>vi makedata.sh#!/bin/bashnewday=2016.5.6hive -e"insert overwrite directory '/project/$newd原创 2018-01-27 16:57:52 · 232 阅读 · 0 评论 -
sqoop增量导入
sqoop的增量导入分为多种模式,有append和lastmodified两种模式。需要应用的主要sqoop参数有:–check-column:指定增量导入的依赖字段,通常为自增的主键id或者时间戳–incremental:指定导入的模式(append或lastmodified)–last-value:指定导入的上次最大值也就是这次开始的值Append模式1.建立自增主键表:create tab原创 2018-01-28 14:35:55 · 1771 阅读 · 1 评论