小许的代码库@日常更新常用代码_20210824

好用的脚本代码

command | while read line
do
…
done

数据入pg库时，如果直接
psql -U postgres -h localhost -d yourdbname -c "\COPY XXX FROM ‘path/***.csv|text’ WITH (FORMAT CSV, HEADER TRUE, DELIMITER ‘,’)
就算postgresql版本到14，表的大小上限也只到4G

因此，将大型结构化数据批量加载到数据库中时，管道命令很有用
cat file | psql -U postgres -h localhost -d yourdbname -c “\COPY XXX FROM ‘path/***.csv|text’ STDIN WITH (FORMAT CSV, HEADER TRUE, DELIMITER ‘,’)”