- 博客(3)
- 收藏
- 关注
RSS订阅原创 Windows下搭建flume
flume.conf（可从官网查询到Windows下日志文件的flume传输的配置文件）目录：D:\Apache\apache-flume-1.11.0-bin\conf。成功连接到配置文件中的主机地址（成功连接到配置文件中的主机地址（
2024-07-18 08:45:35
399
原创 Sqoop数据迁移出现字段顺序错误
使用Sqoop将数据从mysql导入hive中，数据导入成功但出现null乱码。在Sqoop中定义数据导入Hive的字段顺序。shell脚本中使用循环连续导入数据。
2024-07-17 11:08:55
351
原创 Hadoop集群模式中Sqoop数据迁移从mysql到hive报错找不到数据库
因为搭建的是Hadoop集群模式，执行时会将Sqoop命令发送到集群中的其他主机中去执行，但是其他集群中并没有相应的mysql数据库，也就是找不到"目标数据库‘test1’"这个报错；执行Sqoop命令后，报错无法找到目标数据库，显示导入失败，但hive中却真实导入了部分数据，属于是半成功。Sqoop命令中指定的分隔符，导致Sqoop传输过程中将数据识别成了一个字段，其他值就全为null。将MySql中的数据通过Sqoop迁移到Hive中，实现MySqlHive数据流通体系；
2024-07-10 14:53:29
713
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人