将csv文件导入到PostgreSQL

最新推荐文章于 2024-04-29 23:47:34 发布
最新推荐文章于 2024-04-29 23:47:34 发布
阅读量1.3k 收藏 5
点赞数 1
分类专栏： linux 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bluekrystal/article/details/127360525
版权

如果只是有一列数据，想把这列数据导入到数据库表里，表其他字段随意填的情况下，先将这列数据复制到excel表里，同时完善其他列。选择另存为CSV(逗号分隔）

登录数据库

psql -U 用户名 -d 数据库名

导入csv文件

copy 表名 from 'csv文件全路径' DELIMITER ',' csv header

如果导入csv文件报错 invalid byte sequence for encoding "UTF8": 0xb9

在linux下修改csv文件的编码格式，修改为utf-8

vim 查询文件编码格式 :set fileencoding

vim 设置文件编码格式 :set fenc=utf-8

修改文件为utf-8后，再导入到数据库表里

同时补充查看文件的模式类型，一般为dos(windows模式），unix

vim 查询文件的模式类型  :set ff

vim 修改文件的模式类型 :set ff=unix

bluekrystal
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
autotable:autotable 从 csv 文件在 sql 数据库（postgresql 或 mysql）中创建一个表并导入数据
07-07
自动表 autotable 尝试尽可能聪明并自动做正确的事情： 它将 csv 文件读入 PostgreSQL 或 MySQL 创建一个与文件同名的表（只有基名，没有路径和后缀） 尝试从前 100 行猜测列的数据类型 插入数据 它识别（多行）字符串、整数、浮点数、日期、时间戳和 json 数据 文件的第一行应包含列名。 列分隔符是 ; 或 , 并自动检测。 此外，以下规则适用： 空行被忽略 空列为空 任何字段都可以有选择地用双引号 (") 括起来，这些都被剥离了 用双引号括起来的文本字段可以包含分号，不需要转义 第一列成为主键 autotable 取前 100 行的样本来猜测数据类型，分别是：text、bigint、numeric、timestamp 和 json 注意：MySQL 没有原生 JSON 数据类型，因此 JSON 作为文本列导入 MySQL。 但是 mysql 文本类
使用python将mdb数据库文件导入postgresql数据库示例
01-21
mdb格式文件可以通过mdbtools工具将内中包含的每张表导出到csv格式文件。由于access数据库和postgresQL数据库格式上会存在不通性，所以使用python的文件处理，将所得csv文件修改成正确、能识别的格式。 导入脚本说明（此脚本运行于linux）： 1.apt-get install mdbtools,安装mdbtools工具 2.将mdb 文件拷贝到linux虚拟机中，修改脚本中mdb文件目录‘dir’ 3.修改服务器及数据库配置 4.执行脚本 复制代码 代码如下:# -*- encoding: utf-8 -*-import osimport reimport psyc
Excel表数据导入PostGresql数据库
Mickey
01-13 3021
1.准备数据保存为csv格式 2.在PostGresql创建表 3.执行导入操作psql.exe 4.输入 copy city from 'filepath' with delimiter ','; 5.导入成功
PLSQL导入csv文件到数据库
热门推荐
iCoding91
08-04 3万+
好久不用oracle了，突然忘记怎么导入数据了。今天再记录一下吧。 1、建表。目的是：被导入到数据的存储位置。 因为数据库中曾经有过相同表结构的表，所以直接使用SQL建表。 -- t_sdh_cc表 create table t_sdh_cc as select * from t_sdh_cc_hn_cxh where 1=0; 2、建好表后，开始导入数据。 2.1、
Pgsql数据库导入csv文件出现中文乱码
Luca_s的博客
01-19 2475
Pgsql导入
PostgreSQL 导入和导出 CSV 文件
jianghuixin
08-19 1万+
PostgreSQL 的 COPY 语句可以完成导入和导出文件的功能(需要相关权限), 此外 psql 的 \copy 命令通过运行 COPY 语句也可实现类似的功能 测试数据 tokyo2020.csv,其中第一行为标题,COPY tokyo2020 FROM '/mnt/g/tokyo2020.csv' WITH CSV HEADER;WITH CSV HEADER 指定文件格式为 CSV 且首行为标题 如果表结构中包含 id 字段, 而 CSV 文件中没有 id 这一列, 就需要在导入时指定部分列
Postgres数据库如何导入CSV文件
T0620514的博客
10-30 2290
3、将gz文件解压（gzip -d test.gz），复制进docker容器内（docker cp test* 容器ID:/容器指定路径），进入docker容器（docker exec -it .....）进入pg数据库 （psql -U postgres）2、使用scp将文件拷贝至其他服务器（scp /opt/output2.gz [email protected]:/home/li ）；1、将csv文件压缩为gzip格式（gzip -9 -v -c test.txt>test.gz）;
Postgresql导入csv数据
qq_43288352的博客
04-21 1万+
Postgresql导入数据的方法
postgrel导入大量数据csv
weixin_41694284的博客
12-15 762
1、导入，新建表后，按照表中标题起好字段名字，而且字段类型不要随便，根据数值类型去选择字段属性。注意：如果原来表中有表头，可把Header点选Yes，这样可以压盖导入。字段名字应该都为小写。大写的话，对该字段进行增删改查操作的话，需要 "字段名"，如select "TAXI_OUT" from table，比较费事。 2、如果想要添加自增的主键，就如下进行操作。id设置成bigserial。YES，YES，然后save。这样可以将id字段下，自动插入自增的值。 之后等待其插入id自增数据后，再.
pgsql使用copy命令导入CSV文件到数据库，方便实现远程定时导入
Allen技术小站
07-13 8597
csv文件： 表效果： linux命令 postgre客户端执行语句 psql “host=主机名 hostaddr=主机IP地址 port=端口 dbname=数据库 user=用户名 password=密码” -c "\copy test_1 from ‘/data/test.csv’ delimiter ‘|’ csv " 例: psql “host=192.168.0.1 hostaddr=192.168.0.1 port=5432 dbname=test user=root passw
pandas-to-postgres：将Pandas DataFrames和HDF5文件复制到PostgreSQL数据库
02-05
与pandas的to_sql函数的主要区别是： 将COPY与to_csv结合使用，而不是execute / executemany ，对于大量数据，运行速度要快得多将COPY FROM STDIN与StringIO一起使用可避免中间文件的IO开销。 这对
postgres-import-json:此Node.js工具利用psql将JSON或CSV文件导入Postgres，并从Postgres复制实用程序
05-10
这个Node.js工具的主要目标是通过利用psql和复制本机实用程序将多个JSON数据文件导入Postgres表中，以便随后可以通过在表级别运行Postgres操作来处理和提取数据。 因此，无需通过以记录级别运行单个操作来重新发明...
csv导入pgsql不成功_将大量csv文件导入PostgreSQL数据库的有效方法
weixin_39980903的博客
12-21 644
I see plenty of examples of importing a CSV into a PostgreSQL db, but what I need is an efficient way to import 500,000 CSV's into a single PostgreSQL db. Each CSV is a bit over 500KB (so grand total ...
csv导入pgsql不成功_从csv文件中导入数据到Postgresql
weixin_39517546的博客
12-21 492
从csv文件中导入数据到Postgresql已有表中，如果数据已经存在则更新，如果不存在则新建记录。根据csv文件格式，先在postgresql中建立临时表：=# create table tmp(no int,cname varchar,name varchar,dosage varchar,std varchar, number varchar,standard varchar,address...
psql copy命令导入导出数据
lk的窝
10-15 1万+
test=> \conninfo You are connected to database "test" as user "a" via socket in "/tmp" at port "5432". test=> select * from test;  id  ----   1 (1 row) test=> copy (select * from test) to '
PostgreSQL 导入CSV数据
huang_sss的博客
03-27 3927
PostgreSQL 导入CSV数据 CSV导入PosegreSQL的方法： 在PostgreSQL中创建于CSV中列名相同的表（如果后期需要添加geometry，需要把lon和lat列的数据类型设为numeric)； 使用Copy命令copy table_name (col1, col2, ...) from 'imported_users.csv' csv header; 新的改变 我...
PostgreSQL 从 csv 文件导入数据
neweastsun的专栏
07-27 1万+
本文我们学习如何把csv数据文件导入至PostgreSQL中。 创建实例表和数据 首先创建persons表，包括五个字段： id first_name last_name dob : 出生日期 email CREATE TABLE persons ( id SERIAL, first_name VARCHAR(50), last_name VARCHAR(50), dob DATE, email VARCHAR(255), PRIMARY KEY (id) ) 准备csv数.
PostgreSQL 导入和导出 CSV 文件；COPY；\copy
秋̶᭄ꦿ攻城狮࿆ྂ
08-07 6767
PostgreSQL 导入和导出 CSV 文件 语法 # psql -d 数据库 -U 用户名 # \encoding # show client_encoding; # set client_encoding = 'iso-8859-1'; //CSV文件字符格式，不然会乱码 # COPY 表名 FROM 'CSV文件' WITH DELIMITER ',' NULL AS '' CSV HEADER QUOTE AS '|'; # \q ***************************COPY
【课堂练习】
最新发布
JacksonLeo的博客
04-29 289
虽然现代JVM的垃圾回收机制已经非常高效，但是在性能敏感的场合，仍然需要注意对象的创建频率。例如，在SysLogininforMapper中的deleteLogininforByIds方法，如果处理大量ID时，应考虑使用批处理技术，而不是循环单条处理。例如，在SysMenuMapper中的查询方法，如果涉及到复杂的查询条件或者大量数据的查询，应确保SQL语句的优化和索引的使用。异常处理：代码中应该有更明确的异常处理逻辑，比如使用try-catch块捕获可能的异常，并进行适当的处理，如记录日志、回滚事务等。
如何将csv文件导入到postgresql数据库
09-13
### 回答1： 您可以按照以下步骤将CSV文件导入到PostgreSQL数据库中： 1. 创建目标表格：在PostgreSQL数据库中创建一个表格，该表格具有与CSV文件中列相对应的列名和数据类型。您可以使用以下命令来创建表格： ``` CREATE TABLE table_name ( column1 datatype, column2 datatype, column3 datatype, ..... ); ``` 例如，如果您的CSV文件包含名称，年龄和电子邮件列，则可以使用以下命令创建表格： ``` CREATE TABLE persons ( name VARCHAR(255), age INTEGER, email VARCHAR(255) ); ``` 2. 将CSV文件复制到表格中：使用PostgreSQL的COPY命令将CSV文件中的数据复制到表格中。使用以下命令： ``` COPY table_name FROM 'file_path' DELIMITER ',' CSV HEADER; ``` 在这里，`table_name`是您刚刚创建的表格的名称，`file_path`是CSV文件的路径，`DELIMITER`是分隔符，CSV文件中的每个字段都由该分隔符分隔。在上面的示例中，我们使用逗号作为分隔符。`CSV HEADER`表示第一行包含列名。 例如，如果您想将名为`persons.csv`的CSV文件复制到名为`persons`的表格中，则可以使用以下命令： ``` COPY persons FROM '/path/to/persons.csv' DELIMITER ',' CSV HEADER; ``` 这将导入CSV文件中的所有数据到表格中。 3. 确认导入：使用SELECT语句检查表格中是否存在您导入的数据。例如，您可以使用以下命令检查`persons`表格中的所有数据： ``` SELECT * FROM persons; ``` 如果所有数据都被成功导入，则会显示所有人的名称，年龄和电子邮件。 请注意，导入数据时，您需要确保表格中的列名和数据类型与CSV文件中的列相匹配。如果CSV文件中的列名与表格中的列名不匹配，则可以使用`CSV HEADER`选项将第一行作为列名导入。如果数据类型不匹配，则可能需要在导入数据之前将数据转换为正确的类型。 ### 回答2： 要将csv文件导入到PostgreSQL数据库，可以按照以下步骤进行操作： 1. 在PostgreSQL中创建一个目标表，以匹配csv文件中的列。可以使用CREATE TABLE语句来定义表的结构，并且确保列的数据类型与csv文件的数据类型匹配。 2. 使用psql或pgAdmin等PostgreSQL的客户端工具连接到数据库。 3. 使用COPY命令将csv文件的内容导入到PostgreSQL数据库中的目标表。COPY命令具有导入数据的功能，语法如下： COPY table_name FROM 'file_path' DELIMITER ',' CSV HEADER; 其中，table_name是目标表的名称，file_path是csv文件的路径，DELIMITER指定csv文件中字段的分隔符（一般是逗号），CSV表示csv文件的格式，HEADER是指定csv文件是否包含标题行。 4. 运行以上COPY命令，将csv文件的内容导入到PostgreSQL数据库的目标表中。命令执行成功后，数据就会被加载到数据库中。 注意事项： - 保证csv文件的路径正确且PostgreSQL服务器对该路径具有读取权限。 - 为了确保导入的数据正确，csv文件的内容和目标表的结构应该匹配。 - 如果csv文件中的某些列不需要导入数据库，可以在创建表时将它们定义为可选列，然后在COPY命令中省略这些列。 以上就是将csv文件导入到PostgreSQL数据库的基本步骤。根据实际情况，你可能需要调整和修改这些步骤，以满足具体的要求。 ### 回答3： 要将CSV文件导入到PostgreSQL数据库，可以按照以下步骤操作： 步骤1：准备CSV文件和数据库表 首先，确保你已经准备好了CSV文件和对应的数据库表。CSV文件应该包含要导入的数据，数据库表应该已经创建，并且与CSV文件中的数据字段相匹配。 步骤2：连接到数据库 使用适当的数据库客户端或命令行工具连接到PostgreSQL数据库。 步骤3：创建临时表 在数据库中创建一个临时表，该表的结构应该与CSV文件中的数据字段结构相匹配。 步骤4：导入CSV文件到临时表 使用以下命令将CSV文件中的数据导入到临时表中： COPY temp_table_name FROM 'file_path' DELIMITER ',' CSV HEADER; 其中，temp_table_name是临时表的名称，file_path是CSV文件的路径。 步骤5：处理数据 根据需要，你可以对导入的数据进行清洗或处理操作，例如删除重复项、转换数据类型等。 步骤6：将数据导入到目标表 使用INSERT INTO语句将临时表中的数据导入到目标表中： INSERT INTO target_table_name SELECT * FROM temp_table_name; 其中，target_table_name是目标表的名称。 步骤7：清理临时表 在完成数据导入后，可以删除临时表。 以上是将CSV文件导入到PostgreSQL数据库的基本步骤。根据具体情况，你可能需要根据数据的结构和需要进行适当的调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值