sqoop
jim8973
这个作者很懒,什么都没留下…
展开
-
Sqoop导入数据关于--split by 和 --m参数详细解析
split-by 根据不同的参数类型有不同的切分方法;如int型,Sqoop会取最大和最小split-by字段值,然后根据传入的num-mappers来 确定划分几个区域。比如select max(split_by),min(split-by) from得到的max(split-by)和min(split-by)分别为1000和1,而num-mappers(-m)为2的话,则会分成两个区域 (1...原创 2020-01-13 16:58:07 · 3438 阅读 · 0 评论 -
Sqoop部署和操作
Sqoop介绍 sqoop是把数据从RDBMS和hadoop之间进行导入导出,底层是使用MapReduce来实现的,只有Map没有Reduce 部署 下载CDH版本wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.16.2.tar.gz 解压 tar -zxvf sqoop-1.4.6-cdh5.16.2.tar.gz -...原创 2019-12-27 17:03:40 · 155 阅读 · 0 评论