scrapy和mysql_贪心学院作业：如何使用Scrapy框架和MySQL数据库

我认为这此课讲的更好！

一、Python3建议使用 PyMySQL

PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库，Python2中则使用mysqldb。

PyMySQL 遵循 Python 数据库 API v2.0 规范，并包含了 pure-Python MySQL 客户端库。

二、MySQL基本操作

参见Python3 MySQL 数据库连接 - PyMySQL 驱动​www.runoob.com

三、代码区

main.py

from scrapy.cmdline import execute

import os

import sys

a=os.path.dirname(os.path.abspath(__file__))

print(a)

sys.path.append(os.path.dirname(os.path.abspath(__file__)))

execute(["scrapy","crawl","baidu"])

# -*- coding: utf-8 -*-

import scrapy

from urllib import parse

from baidu_tieba.items import TiebaItem

class BaiduSpider(scrapy.Spider):

name = 'baidu'

allowed_domains = ['tieba.baidu.com']

# start_urls = ['https://tieba.baidu.com/f\?ie\=utf-8\&kw\=%E9%98%B2%E8%AF%88%E9%AA%97']

start_urls = ['https://tieba.baidu.com/f?ie=utf-8&kw=%E9%98%B2%E8%AF%88%E9%AA%97']

def parse(self, response):

url_list=response.xpath('//a[@class="j_th_tit "]/@href').extract()

print(url_list)

for url in url_list:

yield scrapy.Request(url=parse.urljoin