![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sqoop
滑冰选手库里
纸上得来终觉浅,绝知此事要躬行
展开
-
在启用了HDFS HA的集群误删了一个NameNode解决实践
在启用了HDFS HA的集群,2个NameNode节点上一般都会部署三个角色:NameNode,JournalNode和Failover Controller。在实际生产中,我们有时会碰到一个情况,你不小心删掉了某个NameNode节点上的所有角色包括NameNode,JournalNode和Failover Controller,或者你不小心通过Cloudera Manager直接从主机管理列表里移除了该NameNode节点,然后你想再把这个节点加回去的时候,发现无论如何HDFS服务都没办法正常使用了。本原创 2020-06-05 14:38:17 · 458 阅读 · 0 评论 -
Sqoop使用总结——从大数据集群导出数据export
HIVE/HDFS到RDBMS $ bin/sqoop export \ --connect jdbc:mysql://hadoop000:3306/company \ --username root \ --password root \ --table staff \ --num-mappers 1 \ --export-dir /user/hive/warehouse/staff_hive \ --input-fields-terminated-by "\t" 提示:Mysql中如果原创 2020-05-20 14:25:18 · 468 阅读 · 0 评论 -
Sqoop使用总结——导入数据到大数据集群import
目录 RDBMS到HDFS RDBMS到Hive RDBMS到Hbase RDBMS到HDFS 1) 确定Mysql服务开启正常 2) 在Mysql中新建一张表并插入一些数据 $ mysql -uroot -proot mysql> create database company; mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(25.原创 2020-05-20 14:24:08 · 1270 阅读 · 0 评论 -
Sqoop使用总结——安装配置 sqoop-1.4.6-cdh5.7.0
1.下载并解压 wget https://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gz tar -zxvf sqoop-1.4.6-cdh5.7.0.tar.gz -C ~/app/ 环境变量添加地址: cat ~/.bash_profile 使环境变量生效 source ~/.bash_profile 2.修改配置文件 Sqoop的配置文件与大多数大数据框架类似,在sqoop根目录下的conf目录中。 ...原创 2020-05-20 14:20:10 · 787 阅读 · 1 评论 -
sqoop MySQL导入HDFS报错Error: java.io.IOException: SQLException in nextKeyValue
问题描述: Error: java.io.IOException: SQLException in nextKeyValue Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Unknown column '????' in 'field list' 解决方法: 兼容性问题,将MySQL中需要导...原创 2019-06-17 10:59:13 · 5026 阅读 · 1 评论