- 博客(5)
- 收藏
- 关注
RSS订阅原创 多服务器启动组件遇到前台页面输出信息卡着的处理办法
echo "-----------启动${ip}程序------------“#处理逻辑就是将前台输出的信息输出到某个路径。
2024-01-26 11:26:11
38
1
原创 sqoop增量将TDSQL数据导入到HDFS
echo -e "\033[33m请检查是否输入参数（参数格式：yyyyMMdd)\033[0m"#数据库信息存储为隐藏文件，权限设置为400，保证用户信息安全。#将需要同步的表名统一放到文件内读取。#TDSQL数据库批量同步（增量）
2023-02-16 16:07:48
288
原创 使用sqoop把MySQL数据全量导入HDFS脚本
echo -e "\033[32mSqoop写入HDFS任务完成，总用时：$(date -ud "@${run_time}" +%H小时%M分%S秒\033[0m"echo "===========db:$DB,table:$var 导入 ============="#为了保护账户密码的安全性，在建立配置文件的时候可以创建为隐藏文件，并且为文件设置权限为400。#jdbc 将用户相关信息放到一个配置文件中，截取用户配置文件中的第二行。#任务开始时间转化为秒单位。#输出任务执行时间到前台。
2023-02-14 17:01:13
352
原创 使用sqoop进行数据迁移遇到回车符、换行符问题
当使用sqoop进行数据迁移遇到换行符的问题可能会导致sqoop任务执行完迁移的数据条数与在hive中查询SQL得到的数据条数可能不一致，造成这个错误的原因大概率是换行符或者回车符的问题。在执行sqoop命令时加上如下命令即可成功实现中英文换行符、回车符等特殊符号的处理问题，本质就是将数据源的数据单元格里面的大的文本或者具有特殊符号的数据认定为string。--hive-drop-import-delim 删除特殊字符及换行符。-- 查询替换某个既含有换行符又含有回车符的字段。-- 此处替换为空格。
2023-02-13 16:01:28
1026
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人