1.我要将mysql的数据迁移到hdfs,使用etl工具Kettle
2.在迁移过程中首先启动hadoop和hive
hadoop启动start-all.sh,通过方位webui查看相关服务是否启动正常
hive启动hive --service metastore &;hive --service hiveserver2 &;
查看端口10000是否启动成功,netstat -alnp|grep 10000;
3.在kettle写入的步骤报错Error setting value #124 BigNumber on prepared statement method not supported
解:经过各种搜索,确实没有找到kettle支持decimal(mysql中的类型,kettle会把这个类型转为BigNumber)数据插入到hive当中(hive是支持decimal类型的),所以换种思路解决:通过组件“字段选择”中的元数据把decimal类型的字段转为字符串,完美解决,如下图:
Kettle将mysql数据导入到Hive 数据类型不支持Decimal
最新推荐文章于 2023-05-05 16:11:27 发布