scrapy框架，腾讯新闻爬取

**本篇文章应用软件：Navicat Premium 15，MySQL，pycharm

注：这里直接将爬取到的数据进行存储数据库的操作，所以在newsqq下自行创建了mysql包将items与pipelines写入在其中如下图

创建工程命名newsqq

可在pycharm下终端进行

1.1使用命令创建 scrapy 工程

scrapy startproject newsqq
cd 进入newsqq里面

1.2新建爬虫主文件

scrapy genspider news qq.com

在 spiders/目录下新建news.py主要开始进行页面的解析；
（1）导入爬虫运行所需的包

import json
from scrapy import Request
from scrapy import Spider
from newsqq.mysql.NewsmysqlItem import NewsmysqlItem

（2）修改起始url

class NewsSpider(Spider):
    name = 'news'
    allowed_domains = ['qq.com']
    start_urls = ['https://i.news.qq.com/trpc.qqnews_web.kv_srv.kv_srv_http_proxy/list?sub_srv_id=milite&srv_id=pc&offset=0&limit=20&strategy=1&ext={%22pool%22:[%22top%22],%22is_filter%22:10,%22check_type%22:true}']

注意：先按F12，点击网络标签，找到搜索按钮在搜索框输入你想要得到的字段，进行搜索发现内容是以json格式写入，则需得到json格式的url,点击消息头得到所需要的url
图一：
图二：

（3）重写 scrapy 内部函数 def parse(self, response):获取起始url返回的 response 对象,提取返回的 json 数据，进行主页的title遍历，解析出来的 json 数据传递到 item 对象。 提取的字段有title，构建出新的url,传递到下一函数。

    def parse(self, response):
        result = json.loads(response.text)['data']['list']
        for data in result:
            title = data['title']
            print(title)
            url = data['url']

            item = NewsmysqlItem()
            item['title'] = title
            yield Request(url=url,callback=self.parse_detail,meta={'item':item})

注意：这里因为动态新闻以json格式编写所以我们当前所发起的url响应为json格式标签页，然后根据内容所存放标签进行爬取。
**使用 Request（）方法，进行 post 请求 url，其中参数 callback 表示请求 url 之后执行的下一个方法函数，meta字典进行当前title内容存储传递给下一函数保存。
（4）自定义函数def parse_detail(self,response);获取上一函数返回的 response 对象，获取meta字典所传递数据。

    def parse_detail(self, response):
        content = response.xpath('/html/body/div[3]/div[1]/div[1]/div//text()').extract()
        content = ''.join(content)
        item = response.meta['item']
        item['content'] = content

        yield item

解析：通过response发起响应使用xpath选择器找到对应文章内容进行获取
**正则,xpath,css的使用方法：正则表达式，xpath，css的讲解
‘’.join(content)表示重写字符串，最后将item回调给管道进行数据库存储。

1.2.1爬虫完整代码

import json
from scrapy import Request
from scrapy import Spider
from newsqq.mysql.NewsmysqlItem import NewsmysqlItem
class NewsSpider(Spider):
    name = 'news'
    allowed_domains = ['qq.com']
    start_urls = ['https://i.news.qq.com/trpc.qqnews_web.kv_srv.kv_srv_http_proxy/list?sub_srv_id=milite&srv_id=pc&offset=0&limit=20&strategy=1&ext={%22pool%22:[%22top%22],%22is_filter%22:10,%22check_type%22:true}']


    def parse(self, response):
        result = json.loads(response.text)['data']['list']
        for data in result:
            title = data['title']
            print(title)
            url = data['url']

            item = NewsmysqlItem()
            item['title'] = title
            yield Request(url=url,callback=self.parse_detail,meta={'item':item})
    def parse_detail(self, response):
        content = response.xpath('/html/body/div[3]/div[1]/div[1]/div//text()').extract()
        content = ''.join(content)
        item = response.meta['item']
        item['content'] = content

		yield item

1.3 修改项目 item.py 文件

将爬虫提取的结构化数据映射到对象中

import scrapy
class NewsmysqlItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    content = scrapy.Field()

1.4修改项目 pipeline.py 文件

注意：当前在mysql下进行存储。
首先需要在mysql数据库内创建news数据库，创建好对应字段的表格。并且连接数据库。并将进入数据库所需要的地址用户及密码等写入管道，最终实现数据的存储。

import pymysql

class MySQLPipeline:
    def __init__(self):
        self.connect =pymysql.connect(
            host='127.0.0.1',
            port=3306,
            db='news',
            user='root',
            password='root',
            charset='utf8',
            use_unicode=True
        )
        self.cursor = self.connect.cursor()
    def process_item(self, item, spider):
        self.cursor.execute(
            """insert into newsqq(title,content)
            value(%s,%s)""",
            (item['title'],
             item['content']
            ))
        self.connect.commit()
        return item

1.5修改项目 settings.py 文件

激活 scrapy 的 pipeline 功能，禁用 ROBOT 规则，加入请求头，如果不想看日志还可将日志文件关闭。

BOT_NAME = 'newsqq'

SPIDER_MODULES = ['newsqq.spiders']
NEWSPIDER_MODULE = 'newsqq.spiders'
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36 Edg/94.0.992.50'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

LOG_LEVEL = 'WARNING'
ITEM_PIPELINES = {
   'newsqq.mysql.MySQLPipeline.MySQLPipeline': 300,
}

1.6查看结果

新建一个main.py,写入爬虫运行环境。

from scrapy.cmdline import execute
import sys
import os

sys.path.append(os.path.dirname(os.path.abspath(__file__)));

execute(["scrapy","crawl","news"])

最后在main中点击run运行爬虫，查看数据库是否有数据导入。

除此之外爬虫运行命令为：

正常运行在终端：scrapy crawl news
将爬虫以csv格式存储：scrapy crawl news -o xxx.csv

如果觉得文章不错记得点赞哟~~