将爬取到的数据（用Python）写入PostgreSQL数据库

最新推荐文章于 2022-07-14 18:11:54 发布
最新推荐文章于 2022-07-14 18:11:54 发布
阅读量1.2w 收藏 20
点赞数 2
分类专栏： Scrapy学习笔记 文章标签： 数据库 postgresql python scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/clownstar/article/details/50826211
版权

我想砍人。

这么简单，我特么搞了整整一天。从昨天下午到今天11:40.

WTF!

以下是代码（目的想把爬取到的数据存入PostgreSQL）：

class PostgreSQLPipeline(object):
    def process_item(self,item, spider)
            #sql_desc="INSERT INTO postgresql_1(fullname, username, organization, mail, joined,followers,starred,following,popular_repos,popular_repos_download,popular_repos_star,popular_repos_info,home_page)values(item['fullname'], item['username'], item['organization'], item['mail'],item['joined'],item['followers'],item['starred'],item['following'],item['popular_repos'],item['popular_repos_download'],item['popular_repos_star'],item['popular_repos_info'], item['home_page'])"
        conn = psycopg2.connect(database="
最低0.47元/天 解锁文章
勿语星空丶
关注
  • 2
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Django框架的全面指南：从入门到高级
mrdeam的博客
05-31 580
除了简单的函数视图外，我们还可以编写基于类的视图来实现更复杂的逻辑。本文为Django框架的全面指南，从入门到高级，涵盖了各种重要主题和技术。首先，我们介绍了Django的基础知识，包括安装、创建项目和应用程序、编写视图和URL路由等。随后，我们深入探讨了中级主题，如数据库模型、管理后台、表单处理和用户认证，以及如何使用国际化和定制管理后台等。
python对postgresql库读取、写入、长连接、制定DDL
limingxin007的博客
09-29 1196
读取PG数据库 方法一： 使用psycopg2 import psycopg2 import pandas as pd # database，user，password，host，port分别对应要连接的PostgreSQL数据库的数据库名、数据库用户名、用户密码、主机、端口信息，请根据具体情况自行修改 conn = psycopg2.connect(database="db",user="usr", password="pw",host="ip",port="5432") cur = conn.curs
python通过什么连接数据库_python连接PostgreSQL数据库的过程详解
weixin_39636608的博客
11-24 141
1. 常用模块# 连接数据库connect()函数创建一个新的数据库连接对话并返回一个新的连接实例对象PG_CONF_123 = {'user':'emma','port':123,'host':'192.168.1.123','password':'emma','database':'dbname'}conn = psycopg2.connect(**PG_CONF_123)# 打开一个操作整个...
python 爬虫 存入 PostgreSQL Selenium使用
qq_41799291的博客
06-27 530
1.在Python中可以用来连接PostgreSQL的模块很多，这里比较推荐psycopg2： 2.安装:pip install psycopg2 3.爬取信息 存入postgre 使用Selenium ： # -*- coding:utf-8 -*- from selenium import webdriver from selenium.webdriver.common.by import ...
Python读取写入postgresql数据库
大宇进阶之路的博客
12-29 5179
使用pycharm先建立与PG数据库的连接： 使用psycopg2包，我们建立table_word表，字段分别是url,title,time,content，使用url作为主键。 代码如下 ## 导入psycopg2包 import psycopg2 ## 连接到一个给定的数据库 conn = psycopg2.connect(database="db", user="wjz",password="XXX", host="101.XX.X.X", port="5432") ## 建立游标，用来.
python 批量插入数据到postgreSql
lin49940的专栏
05-05 1万+
开源的关系型数据库, mysql 和 postgreSql 都有很久的历史, 应用也很广泛了， 今天有机会接触postgreSql11。 python 连接postgreSql 数据库， 用的驱动工具是psycopg2。 官方文档地址：http://initd.org/psycopg/docs/ 操纵插入3000w 条记录发现用单条插入的速度很慢，必须用批量插入的方法了。 啃了一遍官方文档，...
python异步爬取各大网站数据【超详细解说】
06-24
本篇文章将深入探讨如何利用Python进行异步爬取，以及在将数据上传到数据库时如何处理IP和账号密码的安全问题。 首先，Python中的异步爬取主要依赖于`asyncio`库和`aiohttp`库。`asyncio`是Python标准库中的一个...
python数据爬下来保存的位置
09-17
当使用Python爬取数据时，数据通常会被保存到本地的文件系统或数据库中。以下将详细介绍Python数据爬取后如何保存以及涉及的相关知识点。 1. 文件系统保存： 在示例代码中，可以看到数据被保存到了本地的文件系统。...
Python数据可视化分析大作业-中国城市轨道交通数据可视化分析（源码 + 数据库 + 说明文档）
最新发布
05-27
Python的`sqlite3`库允许我们与SQLite数据库交互，如果数据量较大，可能会使用`pandas`与`sqlalchemy`结合，方便地操作关系型数据库如MySQL或PostgreSQL。 最后，说明文档是项目的重要组成部分，它详细解释了项目的...
Python-一个从数据库取数据进行多线程爬文件存本地的爬虫
08-10
标题中的“Python-一个从数据库取数据进行多线程爬文件存本地的爬虫”表明这是一个使用Python编程语言实现的项目，它具有两个主要功能：从数据库获取数据以及使用多线程爬取并存储文件到本地。这个项目可能是为了...
某医药网采集医药数据源码（包含保存CSV文件和存入数据库源码）
10-04
Python提供了诸如sqlite3（用于SQLite数据库）、pymysql（用于MySQL）、psycopg2（用于PostgreSQL）等库，以便将数据存储到关系型数据库中。数据库的使用有利于数据的持久化，方便后续的查询、更新和分析操作。根据...
python插入Null值数据到Postgresql
不积跬步无以至千里
11-25 2617
数据库中最好插入Null值. 在python中, 暂时没找到通过sql语句的方式插入Null值. 推荐使用轮子的方法. def insert_sample_data(self, values): # added self since you are referencing it below with self.con.cursor() as cur: sql...
python postgresql,Python与Postgresql连接
weixin_29607417的博客
03-25 150
Postgresql数据有相较于其他数据库有自身的特点，通过Python与Postgresql数据库相连则是一项很不错的选择，通过Python来控制Postgresql的操作。环境：Python3.6.5Postgresql 9.5包：psycopg2核心代码：conn = psycopg2.connect("postgresql数据库信息") #针对postgresql创建连接，包含数据库名...
python 操作 postgreSQL
Masli的博客
05-02 378
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2020/4/21 23:09 # @Author : xhzheng # @Email : xhzheng777@163.com # @File : TestPostgreSQL.py # @Software: PyCharm import psycopg2 de...
python读取和写入PostgreSQL问题总结
书生的日常
03-13 1万+
Python读取PostgreSQL数据 流程如下： import psycopg2 #连接数据库 conn = psycopg2.connect(database = 'name', user = 'admin', password = '123456', host = '10.10.10.10', port = '5432') curs=conn.cursor() #编写Sql，只...
python 快速写入postgresql数据库方法
数据分析转向数据挖掘的学习之路
03-19 1万+
一种是导入sqlalchemy包，另一种是导入psycopg2包。具体用法如下（此处以postgre数据库举例）第一种：# 导入包 from sqlalchemy import create_engine import pandas as pd from string import Template engine = create_engine("oracle://user:pwd@***:***...
【Python】Python连接PostgreSQL数据库的方法
m0_60255218的博客
07-14 4836
​ 其实在Python中可以用来连接PostgreSQL的模块很多，这里比较推荐psycopg2。psycopg2安装起来非常的简单（pip install psycopg2），这里主要重点介绍下如何使用。 ​
Python连接到PostgreSQL并查询数据的方法
热门推荐
HighGO
01-25 1万+
Python环境 本文中使用的环境是Python 3.6.4。还需要提前安装psycopg2模块，此模块用于连接PostgreSQL数据库。 pip install psycopg2 连接到PostgreSQL数据库并查询数据 首先引用psycopg2模块： import psycopg2 然后就可以通过如下方式连接到PostgreSQL数据库并执行查询数据的SQL语句： # ...
【scrapy实战】---- 利用get方法爬取动态网站，将数据存入到postgresql中
风中尘埃的博客
01-03 1573
我以极客公园为例，爬取文章标题，作者名，文章摘要。 我们打开chrome中的开发者工具，然后我们重新加载一下网页，你可以看到文章标题需要你点加载更多才能出现，之后你会看到如下显示： 我们在General中的Request Method看到是GET，说明这个请求方法是GET方法，之后你会发现并没有post方法，所以用Splash似乎不行。再多点加载更多让文章出现得更多，你会发现Reque...
python怎么将爬取到的数据存储进数据库
07-17
你可以使用Python中的数据库库来将爬取到的数据存储进数据库。下面是一个示例，假设你想将数据存储到SQLite数据库中： 首先，确保你已经安装了Python的SQLite库，可以使用以下命令进行安装： ``` pip install sqlite3 ``` 接下来，导入所需的库并连接到数据库： ```python import sqlite3 # 连接到数据库（如果数据库不存在，则会自动创建一个新的数据库） conn = sqlite3.connect('database.db') ``` 创建一个游标对象，它可以执行SQL语句： ```python # 创建一个游标对象 cursor = conn.cursor() ``` 接下来，创建一个表来存储数据（如果该表尚不存在）： ```python # 创建数据表（如果尚不存在） cursor.execute('''CREATE TABLE IF NOT EXISTS data (id INTEGER PRIMARY KEY AUTOINCREMENT, column1 TEXT, column2 TEXT, column3 INTEGER)''') ``` 然后，将爬取到的数据插入到数据表中： ```python # 插入数据到数据表 data = ('value1', 'value2', 123) cursor.execute('INSERT INTO data (column1, column2, column3) VALUES (?, ?, ?)', data) ``` 最后，记得提交更改并关闭数据库连接： ```python # 提交更改 conn.commit() # 关闭数据库连接 conn.close() ``` 这就是将爬取到的数据存储到SQLite数据库的基本过程。你可以根据自己的需求修改表的结构和插入的数据。如果你使用其他类型的数据库，比如MySQL或PostgreSQL，操作步骤会有所不同，但基本原理是相似的。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值