- 博客(140)
- 收藏
- 关注
RSS订阅原创 sqoop抽取数据报错 Zero date value prohibited
sqoop抽取数据报错 Zero date value prohibited。
2024-10-31 21:03:31
188
原创 git版本控制工具使用
git是一款分布式版本控制工具需要理解本地,暂存区,本地库,远程库。git reset --hard 版本号。git checkout -b 分支名。git checkout 分支名。git branch 分支名。git pull 远程库地址。git push 远程库地址。git merge 分支名。⑤代码拉取,推送到远程库。git版本控制工具使用。4.idea集成git。本地初始化git仓库。
2024-10-22 21:01:58
338
原创 linux使用df与du命令查看磁盘大小不一致问题
原因: 删除文件操作只是标记删除,并没有物理删除,依旧会占用磁盘空间。du -h -s /var/log 显示磁盘已使用1G。linux使用df与du命令查看磁盘大小不一致问题。df -h 再次查询磁盘大小,空间已被释放出来。df -h 显示磁盘已使用99G。先查询删除文件操作对应的进程号。kill -9 进程号。
2024-10-21 21:15:21
332
原创 获取业务库的schema信息导出成数据字典
场景：需要获取业务库的schema信息导出成数据字典，以下为获取oracle与mysql数据库的schema信息语句。获取业务库的schema信息导出成数据字典。
2024-09-10 19:21:10
272
原创 shell的使用sed处理数据
echo ‘|AUTOCLAIM|CE_AUTOCHECK_RESULT|ERROR_MESSAGE|VARCHAR2|3000|Y|异常信息|8|(null)|’ | sed -r ‘s#^|##g’|FLAG|AUTOCLAIM|CE_AUTOCHECK_RESULT|ERROR_MESSAGE|VARCHAR2|3000|Y|异常信息|8|(null)||FLAG|AUTOCLAIM|CE_AUTOCHECK_RESULT|SEND_DATE|DATE|7|Y|发送时间|10|(null)|
2024-09-10 19:19:02
500
原创 shell脚本统计hive外表天分区的数据量
注意:以下脚本day变量会自增:20240628,20240629,20240630,20240631,20240632…场景:shell脚本统计hive外表天分区的数据量。
2024-09-04 21:31:50
243
原创 数据库行存表与列存表的差异
列存:统计分析类查询 (关联、分组操作较多的场景),如果表的字段比较多（大宽表），查询中涉及到的列不多的情况下，适合列存储。选择(Select)时即使只涉及某几列，所有数据也都会被读取。一.定义:行存储是指将表按行存储到硬盘分区上，列存储是指将表按列存储到硬盘分区上。默认情况下，创建的表为行存储。行存:适用增、删、改操作较多的场景,如果表的字段个数比较少，查询大部分字段，那么选择行存储比较好。列存:INSERT/UPDATE比较麻烦,查询时只有涉及到的列会被读取,任何列都能作为索引。
2024-09-03 21:15:07
477
原创 sqoop导入oracle报错,missing in or out parameter
报错原因: 数据导入oracle,表名字段名要一定要大写。
2024-06-24 21:28:12
324
原创 HDFS架构
NameNode不存储实际数据，而是维护着所有文件和数据块的元数据信息，包括文件的名称、文件的目录结构、文件对应的块信息及块所在的DataNode等。DataNode会定期向NameNode发送心跳信号和块报告，以保持其在集群中的活性状态，并告知NameNode其存储的数据块信息。总结来说，HDFS架构通过NameNode进行元数据管理，利用大量的DataNode进行数据存储，通过引入Secondary NameNode和HA机制增强系统的可靠性和扩展性，满足了大数据环境下对大规模数据存储和访问的需求。
2024-06-15 12:00:01
428
1原创 sed批量修改shell脚本内容
需求:邮件服务器脚本ip做了切换,由原先的11.22.33.44,切换为11.22.33.55。需要把所有使用了11.22.33.44该ip的脚本改为11.22.33.55。
2024-06-04 21:56:43
330
原创 git的使用
git reset --hard HEAD^ 回退到上一次。git reset --hard HEAD~n 回退到n次。git reset --hard 版本号 穿越到相应版本。创建分支同时切换 git checkout -b 分支名。git reset 文件名 撤销文件缓存区的状态。切换分支 git checkout 分支名。创建分支 git branch 分支名。查看分支 git branch -v。合并分支 git merge 分支名。
2024-05-31 22:21:03
315
原创 idea快捷键
代码跟踪：Ctrl+点击某个类或方法 回到刚刚的位置：Alt+<–打开某个类型的源代码：Ctrl+Shift+T + 输入类型名。快速格式化：Ctrl +Shift + F(format)打开的多个源文件切换：Alt + ←， Alt + →。快速导包：Ctrl + Shift + O。取消多行注释：Ctrl +Shift +向下复制一行：Ctrl + Alt + ↓。向上复制一行：Ctrl + Alt + ↑。多行注释：Ctrl + Shift + /Ctrl+shift+L 格式化代码。
2024-05-31 22:05:33
606
(43条消息) 华为OD机试真题2023（JAVA&JS）_华为机试真题_若博豆的博客-CSDN博客.mhtml
2024-01-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人