- 博客(3)
- 收藏
- 关注
RSS订阅原创 python批量读写docker-pg表
参考资料：https://www.psycopg.org/docs/cursor.html#cursor.copy_to方案思路：基于psycopg2提供的copy_to和copy_from方法实现，过程中会产生一个中间文件用于暂存数据。copy_to -> 中间文件 -> copy_from读取pg表#引入连接适配器import psycopg2##查看pg库databases \l##查看pg库所有用户 \du ，password在启动容器时指定##查看容器ip, .
2021-03-28 21:54:24
181
原创 快速清理hdfs目录已删除的hive表分区
背景：此前因测试环境hdfs存储空间不足，利用hadoop fs -du -s命令查看后，顺手hadoop fs -rmr删除了存储较大的分区目录。此时并没有删除分区元数据信息。今天在测试hive表ORCFile格式存储压缩率时，恰好用到之前的表来初始化数据，在写入数据时报了原表分区目录不存在的错误。本以为使用msck repair table会自动清理掉分区，但查资料后发现该命令只负责”新增“对应目录的分区，不负责”清理“工作。看了几篇文章后，我决定把自己的解决方案发出来，因为它足够简单。1.使.
2021-01-06 21:32:15
2795
原创 Gitee个人代码托管
1、注册地址：https://gitee.com/2、创建仓库左下角"仓库"右侧加号按钮，依次输入仓库名称，选择对应语言后创建即可3、仓库测试前置条件：本地已安装git软件3.1 克隆仓库到本地a. 进入刚刚创建的仓库，点击"克隆/下载"，复制HTTPS地址：https://gitee.com/****.gitb. 在本地目录下执行克隆命令，根据提示输入账密git clone https://gitee.com/***.git3.2 提交到远程仓库#检查本地修改gi
2020-11-26 21:05:33
643
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人