sqoop
文章平均质量分 51
Ayanha
这个作者很懒,什么都没留下…
展开
-
Sqoop文件传输
一、导入 从非大数据集群(RDBMS,mysql等常用数据库)导入大数据集群(Hadoop、hive、hbase) 1、mysql库表导入HDFS 全部导入 [root@Hadoop01 sqoop]# bin/sqoop import \ > --connect jdbc:mysql://hadoop01:3306/test \ > --username 账号 \ > --password 密码 \ > --table company \ > --target-dir原创 2021-03-29 23:17:25 · 675 阅读 · 0 评论 -
sqoop数据传输踩坑
sqoop进行数据传输的时候,mapreduce任务会卡住,这是因为每个Docker分配的内存和CPU资源太少,不能满足Hadoop和Hive运行所需的默认资源需求。 措施:设置yarn里面关于内存和虚拟内存的配置项,在yarn-site.xml中加入如下配置,并重启yarn: <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>20480</value>原创 2021-03-25 22:48:53 · 376 阅读 · 0 评论 -
sqoop部署
一、下载安装包 官网路径:http://archive.apache.org/dist/sqoop/1.4.6/ 下载压缩包: sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 二、上传压缩包并解压 开启hadoop集群服务 [root@Hadoop01 software]# rz [root@Hadoop01 software]# ll 总用量 607300 -rw-r--r--. 1 root root 92834839 2月 7 21:30 apache-hi原创 2021-03-23 22:07:52 · 341 阅读 · 1 评论