![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sqoop
逗点儿
大数据爱好者,菜鸟
展开
-
sqoop安装及驱动问题
sqoop 下载及解压 链接地址:http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gz 解压:tar -zxvf sqoop-1.4.6-cdh5.7.0.tar.gz sqoop 添加环境变量 hadoop:hadoop:/home/hadoop:>vi .bash_profile # .bash_profil原创 2018-01-24 16:14:02 · 1742 阅读 · 0 评论 -
sqoop导出到mysql的字符集乱码问题
我将在HDFS中的文件导入到已将建好的MySQL表中。可是出现了如下问题: mysql> select * from endsql_table; +------+-----------+------+------+----------+ | area | pname | pnum | rank | day | +------+-----------+------+-----原创 2018-01-25 14:42:13 · 2470 阅读 · 0 评论 -
Sqoop+Hive+MySQL用户某时间范围,区域最受欢迎的Top N的产品 初级版
数据展示: 1.city_info mysql> select * from city_info; +---------+-----------+--------+ | city_id | city_name | area | +---------+-----------+--------+ | 1 | 北京 | 华北 | | 2 | 上海原创 2018-01-25 15:23:50 · 380 阅读 · 0 评论 -
Sqoop+Hive+MySQL用户某时间范围,区域最受欢迎的Top N的产品 中级版
写了两个脚本,一个处理了数据分析的一部分,一个处理了hive导回mysql,脚本刚开始接触,实在是不怎么样,大家对付看 处理数据分析 hadoop:hadoop:/home/hadoop/project:>vi makedata.sh #!/bin/bash newday=2016.5.6 hive -e"insert overwrite directory '/project/$newd原创 2018-01-27 16:57:52 · 224 阅读 · 0 评论 -
sqoop增量导入
sqoop的增量导入分为多种模式,有append和lastmodified两种模式。需要应用的主要sqoop参数有:–check-column:指定增量导入的依赖字段,通常为自增的主键id或者时间戳–incremental:指定导入的模式(append或lastmodified)–last-value:指定导入的上次最大值也就是这次开始的值 Append模式 1.建立自增主键表:create tab原创 2018-01-28 14:35:55 · 1739 阅读 · 1 评论