scrapy插入数据库_pymysql_sqlalchemy

最新推荐文章于 2022-10-28 00:44:28 发布
最新推荐文章于 2022-10-28 00:44:28 发布
阅读量217 收藏
点赞数
分类专栏： Flask
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44505901/article/details/110881818
版权

SQLAlchemy

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter
import pymysql
from sqlalchemy import create_engine

class QianChengWuYou4Pipeline:

    def __init__(self):
        #self.con = pymysql.connect(host="127.0.0.1", user="root", password="123456", database="db5",
        #                          charset="utf8")  # 创建MySQL数据库连接conn实例
        #self.cur = self.con.cursor()  # 创建数据库指向游标
        self.engine = create_engine("mysql+pymysql://root:123456@localhost:3306/db5")

    def process_item(self, item, spider):
        title=item['title']
        zhi_wei=item['zhi_wei']
        zhi_wei_name=item['zhi_wei_name']
        gong_si=item['gong_si']
        wei_zhi=item['wei_zhi']
        gong_zi=item['gong_zi']
        xue_li=item['xue_li']
        gong_zuo_jing_yan=item['gong_zuo_jing_yan']
        gong_si_xing_zhi=item['gong_si_xing_zhi']
        gong_si_gui_mo=item['gong_si_gui_mo']
        gang_wei_miao_shu=item['gang_wei_miao_shu']
        zhao_pin_ren_shu=item['zhao_pin_ren_shu']

        # # 数据库 text_1
        # self.cur.execute(
        #     "insert into zhao_pin(title, zhi_wei, zhi_wei_name, gong_si, wei_zhi, gong_zi, xue_li, gong_zuo_jing_yan, gong_si_xing_zhi, gong_si_gui_mo, gang_wei_miao_shu,zhao_pin_ren_shu) values('%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s')" % (title, zhi_wei, zhi_wei_name,gong_si, wei_zhi,gong_zi,xue_li,gong_zuo_jing_yan, gong_si_xing_zhi, gong_si_gui_mo, ''.join(gang_wei_miao_shu),zhao_pin_ren_shu))
        # # 执行sql语句
        # print("插入成功！！！")  # 测试语句
        #
        # self.con.commit()

        self.engine.execute(
	     "insert into zhao_pin(title, zhi_wei, zhi_wei_name, gong_si, wei_zhi, gong_zi, xue_li, gong_zuo_jing_yan, gong_si_xing_zhi, gong_si_gui_mo, gang_wei_miao_shu,zhao_pin_ren_shu) values('%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s')" % (title, zhi_wei, zhi_wei_name,gong_si, wei_zhi,gong_zi,xue_li,gong_zuo_jing_yan, gong_si_xing_zhi, gong_si_gui_mo, ''.join(gang_wei_miao_shu),zhao_pin_ren_shu))
        # 执行sql语句)
        print("插入成功！！！")  # 测试语句




        return item



    """
    use db5;

create table zhao_pin(
id int primary key auto_increment,
title varchar(255),
zhi_wei varchar(255),
zhi_wei_name varchar(255),
gong_si varchar(255),
wei_zhi varchar(255),
gong_zi varchar(255),
xue_li varchar(255),
gong_zuo_jing_yan varchar(255),
        gong_si_xing_zhi varchar(255),
        gong_si_gui_mo varchar(255),
        gang_wei_miao_shu varchar(255),
        zhao_pin_ren_shu varchar(255)





)
    
    
    
    """

pymysql

import pymysql
con = pymysql.connect(host="127.0.0.1", user="root", password="123456", database="db5",charset="utf8") 
 # 创建MySQL数据库连接con实例
 
cur = self.con.cursor()  # 创建数据库指向游标

cur.execute(
        "insert into zhao_pin(title, zhi_wei, zhi_wei_name, gong_si, wei_zhi, gong_zi, xue_li, gong_zuo_jing_yan, gong_si_xing_zhi, gong_si_gui_mo, gang_wei_miao_shu,zhao_pin_ren_shu) values('%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s')" % (title, zhi_wei, zhi_wei_name,gong_si, wei_zhi,gong_zi,xue_li,gong_zuo_jing_yan, gong_si_xing_zhi, gong_si_gui_mo, ''.join(gang_wei_miao_shu),zhao_pin_ren_shu))
        # 执行sql语句
print("插入成功！！！")  # 测试语句
       
con.commit()
cur.close()
con.close()

sqlalchemy

from sqlalchemy import create_engine
engine = create_engine("mysql+pymysql://root:123456@localhost:3306/db5")
self.engine.execute(
	     "insert into zhao_pin(title, zhi_wei, zhi_wei_name, gong_si, wei_zhi, gong_zi, xue_li, gong_zuo_jing_yan, gong_si_xing_zhi, gong_si_gui_mo, gang_wei_miao_shu,zhao_pin_ren_shu) values('%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s')" % (title, zhi_wei, zhi_wei_name,gong_si, wei_zhi,gong_zi,xue_li,gong_zuo_jing_yan, gong_si_xing_zhi, gong_si_gui_mo, ''.join(gang_wei_miao_shu),zhao_pin_ren_shu))
        # 执行sql语句
        print("插入成功！！！")  # 测试语句
王轩12
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy 利用pymysql批量插入数据
a3464684的博客
03-28 2140
最近在写爬虫爬取APP的时候通过scrapy的pipelines插入数据库，返回一次item 便插入一条数据，发现运行速度非常慢，一天只爬取了几万条数据。之前记得学习爬虫时，老师曾经提过，每条数据都插入会造成爬取速度非常慢。 所以我改进了一下自己的代码，选择批量插入数据库。每次往数据库中写入1000条数据，代码运行效率有大幅度的提升。本次使用的scrapy+pymysql...
scrapy 数据库插入
HappyHuirong的专栏
05-22 4206
1)安装mysql (1)安装mysql  sudo apt-get install mysql     (2)安装python-mysql sudo apt-get install python-mysqldb     (3)安装python支持mysql的驱动sudo pip install pymysql     (notice:安装时密码不要为空) 2)新建数据库 (1)以roo
scrapy 万能sql插入语句
qq_39298872的博客
12-24 327
作者： Qiang He 邮箱：1422127065@qq.com scrapy万能插入sql写法 本次示例为scrapy 爬取的豆瓣top250网站（https://movie.douban.com/top250） item.py title=scrapy.Field() comment = scrapy.Field() link = scrapy.Field() quote = scrapy....
scrapy mysql pymysql_scrapy 使用pymysql操作数据库的两个问题。
weixin_31684041的博客
02-03 279
已解决：1.乱码问题：Windows下向mysql写入数据前set names gbk;,关闭mysql后失效。2.只能写入最后一个item：去除删除表的代码。创建表的sql语句改为create table IF NOT EXISTS ysw()———————————————————————————————————————1. 将item写入数据库只能写进去最后一个item2. 写进去的汉字乱码p...
Scrapy存入MySQL
shykevin的博客
09-10 767
一、概述 之前利用Scrapy爬取的数据，都是写入在json文件中，现在需要写入到mysql中。 在items.py中，主要有2个字段： class CityItem(scrapy.Item): name = scrapy.Field() url = scrapy.Field() 环境说明 mysql服务器ip：192.168.0.3 用户名：root 密码：abc...
完整版 Python高级开发课程 高级教程 06 Python操作MySQL数据库.pptx
09-25
例如，使用SQLAlchemy创建表并插入数据： ```python from sqlalchemy import create_engine, Table, Column, Integer, String from sqlalchemy.ext.declarative import declarative_base Base = declarative_base...
jkb.zip_spider_文章爬虫
09-24
7. **ORM框架**: 为了简化数据库操作，可能会使用对象关系映射（ORM）框架，如`SQLAlchemy`，它允许用Python代码操作数据库，而不是直接写SQL。 **爬虫流程** 8. **初始化**: 爬虫首先会定义需要爬取的URL，然后...
Python 开发音乐播放(爬虫+可视化+数据分析+数据库)全套项目文件
最新发布
10-30
Python可以借助SQLAlchemy、PyMySQL等库连接和操作数据库，常见的关系型数据库如MySQL、PostgreSQL，非关系型数据库如MongoDB。在项目中，需要设计合理的数据库架构，确保数据的一致性、完整性和安全性，并能支持...
完整版 Python高级开发课程 高级教程 05 Python数据采集 网络爬虫 网页爬虫.pptx
09-25
- 数据库连接：使用`pymysql`或`mysql-connector-python`库建立与MySQL的连接。 - SQL语句执行：插入、查询、更新和删除数据，以及更复杂的JOIN操作。 - ORM（对象关系映射）：了解SQLAlchemy，实现Python对象与...
python网络爬虫 高清
01-10
Python有多种数据库接口，如`sqlite3`（SQLite）用于轻量级数据存储，`pymysql`和`psycopg2`分别对应MySQL和PostgreSQL数据库。此外，`SQLAlchemy`是一个强大的ORM（对象关系映射）工具，能简化数据库操作。 3. **...
scrapy将爬取到的数据存储到mysql中，使用pymysql
m0_37746694的博客
09-09 456
在 pipelines.py中添加如下代码 import pymysql class JianshuPipeline(object): def __init__(self): dbparams = { 'host':'127.0.0.1', 'port':3306, 'user':'root', ...
scrapy 将item存到mysql中（pymysql）
time_tries_all的博客
11-23 5004
本文将介绍如何将抓好的item数据存入到mysql中 声明：本文使用的python交互工具为pymysql并非mysqldb，因为网上使用pymysql存入数据的相关文章较少，所以写了这篇文章供大家参考 环境：ubantu 准备工作： items.py 将想要抓的数据累出来，下面是我要抓的数据：（我的项目名为wens） class WensItem(scrapy.Item):
scrapy mysql的同步插入与异步插入
徐代龙的技术专栏
10-20 806
主要代码是在Pipeline中进行编写，上完整代码： 同步插入代码： # 同步插入 class MysqlPipeline2(object): """ 同步操作 """ def __init__(self): # 建立连接 self.conn = pymysql.connect('localhost', 'root', 'Abcd1...
srapy mysql_在Scrapy中将项目写入MySQL数据库
weixin_29189363的博客
01-19 118
我是Scrapy的新手，我有spider代码class Example_spider(BaseSpider):name = "example"allowed_domains = ["www.example.com"]def start_requests(self):yield self.make_requests_from_url("http://www.example.com/bookstore...
scrapy 操作MYSQL
网络爬虫开发
11-12 709
scrapy piplines操作mysql数据库： class EducationPipeline: def __init__(self): self.connect = pymysql.connect(host='localhost', port=3306, user='root',
Scrapy连接MySQL数据库
夜神丶月L
08-28 1746
一、Mysql安装 3.x安装命令：pip install PyMySQL 2.x安装命令：pip install MySQLdb 二、Mysql的使用 在pipelines.py文件引入MySQL，引入命令import pymysql.cursors。引入之后，就可以编写具体的类了，首先我们需要创建数据库的连接，创建数据库连接之前，需要确保你已经成功安装了MySQL并且已经在MySQL里面创建...
python框架之Scrapy&&自动存储mysql数据库
m0_66044243的博客
10-28 1822
Scrapy 封装入数据库中：'mysql.connector.errors.NotSupportedError'>: Authentication plugin 'caching_sha2_password' is not supported。（没下载mysql.connector，需要pip一下）
Scrapy爬取数据并存储到MySQL
一个人的编程之路
09-27 7782
Scrapy爬虫 爬虫框架 架构 流程 组件 功能 同步插入数据库 异步插入数据库 mysql pipeline
Scrapy爬数据并存储到mysql中
memoryjdch的博客
08-14 5454
坑1   我定义好items后，下一步是要将items这个容器引入到我的spider里面。所以要在spider文件中写上这么一句话： from house.items import Test1Item house是我的工程名，Test1Item是我的item的类名。但是这句话在我的notebook里面死活给我报错： No Module named "house" What?我的hou
scrapy 重写start_request
06-28
### 回答1： Scrapy重写start_request的方法是在Spider类中定义一个start_requests()方法，该方法返回一个可迭代的Request对象列表，每个Request对象代表一个要爬取的URL。在这个方法中可以通过yield关键字返回Request对象，也可以通过return关键字返回一个Request对象列表。这些Request对象将被Scrapy引擎调度并发送到目标网站，从而开始爬取过程。 ### 回答2： Scrapy 是一种功能强大且灵活的 Python 爬虫框架，可以用于高效地爬取和提取各种类型的数据。其中，start_requests 是 Scrapy 中的一个重要方法，用于创建初始请求，并将其发送到目标站点以启动爬取过程。 在默认情况下，Scrapy 使用 start_requests 方法生成从 start_urls 中提取的请求。然而，有时候我们需要更精细地控制请求的生成和发送过程。这时，就需要重写 start_requests 方法，以实现自定义行为。对于此，我们可以采用如下的步骤： 1. 重写 start_requests 方法，并返回一个包含一个或多个 Request 对象的列表。 2. 在 Request 对象中指定其 url、callback 等参数，并可选地设置其他请求相关的参数，如 headers、formdata、meta 等属性。 3. 在 callback 方法中对返回的 Response 对象进行处理，从中提取和解析需要的数据。 具体来说，我们可以按照以下代码来重写 start_requests 方法： ```python import scrapy class MySpider(scrapy.Spider): name = 'myspider' def start_requests(self): urls = [ 'http://www.example.com/page1.html', 'http://www.example.com/page2.html', 'http://www.example.com/page3.html', ] for url in urls: yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): # 在这里对返回的 Response 对象进行处理，提取和解析需要的数据 pass ``` 在上述代码中，我们重写了 start_requests 方法，并通过列表 urls 手动指定要爬取的网页地址。然后，使用 yield 关键字生成一个包含请求对象的生成器，其中每个请求对象包含一个 url 和一个回调函数 parse。一旦 Scrapy 发送了这些请求对象，就会调用对应的回调函数，并使用相应的 Response 对象作为参数传递给它。 值得注意的是，重写 start_requests 方法是 Scrapy 爬虫中使用相对较少的操作，因为 Scrapy 提供了许多方便快捷的方式来为每个页面自动生成请求对象，并使用相应的回调进行数据处理。然而，在特定情况下，自定义 start_requests 方法是非常有用的，特别是当我们需要处理动态生成的请求、反爬虫机制等问题时。 ### 回答3： Scrapy是一个功能强大的Python爬虫框架，它提供了许多灵活的功能和接口，使得用户可以轻松编写自定义的爬虫程序。在Scrapy框架中，start_requests函数是一个很重要的入口函数，它是用来生成初始请求并发送给Scrapy引擎的。 在Scrapy框架中，如果我们想要重写start_requests函数，可以通过覆盖Scrapy的Spider类中的该函数来实现。Scrapy的Spider类是所有爬虫的基类，通过继承这个类并重写start_requests函数，我们可以自定义一些请求的生成方式。 假设我们要重写start_requests函数，以下是一些可能的实现方式： 1. 使用一组自定义的URL列表进行爬取 ```python class MySpider(scrapy.Spider): name = "myspider" start_urls = [ "http://www.example.com/page1", "http://www.example.com/page2", "http://www.example.com/page3", ] def start_requests(self): for url in self.start_urls: yield scrapy.Request(url=url, callback=self.parse) ``` 2. 根据指定规则生成请求 ```python class MySpider(scrapy.Spider): name = "myspider" def start_requests(self): for i in range(1, 10): url = f"http://www.example.com/page{i}" yield scrapy.Request(url=url, callback=self.parse) ``` 3. 完全自定义请求的生成方式 ```python class MySpider(scrapy.Spider): name = "myspider" def start_requests(self): # 自定义请求的生成方式 payload = {"id": 123, "type": "foo"} headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"} url = "http://www.example.com/" yield scrapy.Request(method="POST", url=url, headers=headers, body=json.dumps(payload), callback=self.parse) ``` 通过重写start_requests函数，我们可以自定义一些请求的生成方式，进而实现我们所需的爬虫功能。在重写start_requests函数时，需要注意请求的生成方式和回调函数的设置，以确保正确地进行数据处理和存储。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值