sqoop
文章平均质量分 83
夏至1208
这个作者很懒,什么都没留下…
展开
-
sqoop import export参数介绍
通用参数选项含义说明–connect 指定JDBC连接字符串–connection-manager 指定要使用的连接管理器类–driver 指定要使用的JDBC驱动类–hadoop-mapred-home 指定$HADOOP_MAPRED_HOME路径–help打印用法帮助信息–password-file设置用于存放认证的密码信息文件...原创 2018-10-31 09:07:20 · 1388 阅读 · 0 评论 -
Hive统计TopN问题
这里模拟一个统计每个区域最受关注的top3的产品业务需求,并模拟生成3张表,分别为城市表city_info,产品表product_info,用户点击行为表user_click。所用的工具有HDFS,HIVE,SQOOP,MYSQL。原创 2018-10-29 17:23:58 · 2882 阅读 · 0 评论 -
Sqoop 安装测试
1 什么是Sqoop Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具,结构化数据可以是Mysql、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载,MapReduce天生的特性保证了并行化和高容错率,而且相比Kettle等传统ETL工具,任务跑在Hadoop集群上,减少了ETL服务器资源的使用情况。在特定场景下,抽取过程会有很大的性能提...原创 2018-10-27 10:47:16 · 382 阅读 · 0 评论 -
大数据开发--hadoop压缩 snappy测试
摘要: 我们用Apache或者CDH下载下来的hadoop安装包来安装hadoop是不支持snappy压缩的,我们可以查看$HADOOP_HOME/lib/native,最开始里面是空的。或者执行hadoop checknative -a来查看支持的压缩,发现压缩格式基本都是false。如果要用snappy压缩,需要重新编译hadoop。下面我们来编译hadoop。一、编译准备部署JAV...原创 2018-12-10 17:29:51 · 1443 阅读 · 0 评论