- 博客(4)
- 收藏
- 关注
原创 flume关于上传文件有时间戳的解释
文件已经生成了,只不过默认情况下现在的文件是.tmp结尾的,表示它在被使用,因为Flume只要采集到数据就会向里面写,这个后缀默认是由hdfs.inUseSuffix参数来控制的。文件名上还拼接了一个当前时间戳,这个是默认文件名的格式,当达到文件切割时机的时候会给文件改名字,去掉.tmp。
2023-03-25 21:27:14
235
原创 将hive表中数据导入mysql
-export-dir /data/hive/warehouse/ods_yiqing_data.db/dwd_total(hive表在hdfs存储位置/数据库/表名称)sqoop export --connect jdbc:mysql://虚拟机地址:3306/mysql的数据库。--fields-terminated-by '\t'(数据的分隔符,参照hive建立表时的分隔符)--username 数据库用户名。--password 数据库密码。--table 数据库表名。
2023-03-24 19:59:28
308
原创 sqoop连接mysql数据库失败
解决方法:将mysql-connecction-java-的版本换成了mysql-connecction-java-5.1.37.jar。3、可能是mysql-connecction-java-的版本问题。链接:https://pan.baidu.com/s/1izFWri4B6CYAUdSWmXgypw。2、可能是ip地址不正确。错误原因:1、可能是mysql输入的密码错误。分享一下这两个jar文件。
2023-03-24 18:09:18
1202
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人