需要环境:
- Python3.6
- Scrapy
- PyMySQL
安装模块
推荐使用anaconda安装新模块,在命令行中输入:
conda install -c conda-forge scrapy
conda install -c anaconda pymysql
创建项目
创建Scrapy项目,在命令行中输入:
scrapy startproject myblog
爬取信息
我们需要的数据有文章标题,文章链接,发表日期,文章内容,在item.py
中定义我们要爬取的字段
import scrapy
class MyblogItem(scrapy.Item):
# define the fields for your item here like:
title = scrapy.Field()
href = scrapy.Field()
date = scrapy.Field()
content = scrapy.Field()
pass
通过观察,发现CSDN的文章列表链接为:
https://blog.csdn.net/用户名/article/list/页数
所以我们创建spider/list_spider.py
,用来抓取和分析网页。此时目录结构为:
myblog
│ items.py
│ middlewares.py
│ pipelines.py
│ settings.py
│ __init__.py
│
├─spiders
│ │ list_spider.py
│ │ __init__.py
│ │
│ └─__pycache__
│ list_spider.cpython-36.pyc
│ __init__.cpython-36.pyc
│
└─__pycache__
settings.cpython-36.pyc
__init__.cpython-36.pyc
在list_spider.py
中编写ListSpider类,构造访问请求:
import scrapy
class ListSpider(scrapy.Spider):
name = "list"
allowed_domains = ["blog.csdn.net"]
start_urls = [
"https://blog.csdn.net/qq_42623428/article/list/4",
]
然后再编写parser()
函数,用来解析网页:
从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors 。 关于selector和其他提取机制的信息请参考 Selector文档 。
这里给出XPath表达式的例子及对应的含义:
/html/head/title
: 选择HTML文档中<head>
标签内的<title>
元素/html/head/title/text()
: 选择上面提到的<title>
元素的文字//td
: 选择所有的<td>
元素//div[@class="mine"]
: 选择所有具有class="mine"
属性的div
元素
def parse(self, response):
for item in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
url = item.xpath("h4/a/@href").extract()
title = item.xpath("h4/a/text()").extract()[1].strip()
date = item.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()
print([url, title, date])
打印后可以看到如下信息:
'date': '2018-09-30 17:27:01',
'title': '银行业务队列简单模拟',
'url': 'https://blog.csdn.net/qq_42623428/article/details/82912058'}
使用item
Item
对象是自定义python字典。 您可以使用标准的字典语法来获取到其每个字段的值。(字段即是我们之前用Field赋值的属性):
>>> item = MyblogItem()
>>> item['title'] = 'Example title'
>>> item['title'] = 'Example title'
为了将爬取的数据返回,我们最终的代码是:
import scrapy
from myblog.items import MyblogItem
class ListSpider(scrapy.Spider):
name = "list"
allowed_domains = ["blog.csdn.net"]
start_urls = [
"https://blog.csdn.net/qq_42623428/article/list/4",
]
def parse(self, response):
for item in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
item = MyblogItem()
item['url'] = item.xpath("h4/a/@href").extract()
item['title'] = item.xpath("h4/a/text()").extract()[1].strip()
item['date'] = item.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()
yield item
追踪链接
接下来, 我们需要通过已经获取的url地址来访问各个文章标题所对应的文章内容,然后保存在item['content']
中,下面是实现这个功能的改进版spider:
import scrapy
from myblog.items import MyblogItem
class ListSpider(scrapy.Spider):
name = "list"
allowed_domains = ["blog.csdn.net"]
start_urls = [
"https://blog.csdn.net/qq_42623428/article/list/4",
]
def parse(self, response):
for data in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
item = MyblogItem()
item['url'] = data.xpath("h4/a/@href").extract()[0]
item['title'] = data.xpath("h4/a/text()").extract()[1].strip()
item['date'] = data.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()[0]
url = data.xpath("h4/a/@href").extract()[0]
request = scrapy.Request(url, callback=self.parse_dir_contents)
request.meta['item'] = item
yield request
#在某些情况下,您如果希望在回调函数们之间传递参数,可以使用Request.meta
def parse_dir_contents(self, response):
item = response.meta['item']
item['content'] = response.xpath("//article/div[@class='article_content clearfix csdn-tracking-statistics']/div[@class='markdown_views prism-atom-one-light']").extract()[0]
yield item
这样,我们就可以保存所有我们需要的信息,但现在还有一个问题:我们刚才所进行的操作是将该博客目录的某一页的文章采集下来,但如果我们的博客目录有多页,我们想要将所有的文章采集下来呢?
我们在文章列表第一页https://blog.csdn.net/qq_42623428/article/list/1
的基础上,改变最后的数字,就可以访问对应的页数,从1开始循环,当判断下一页内容为空时停止,我们对spider再作改进。
import scrapy
from myblog.items import MyblogItem
class ListSpider(scrapy.Spider):
name = "list"
allowed_domains = ["blog.csdn.net"]
start_urls = [
"https://blog.csdn.net/qq_42623428/article/list/1",
]
def parse(self, response):
for data in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
item = MyblogItem()
item['url'] = data.xpath("h4/a/@href").extract()[0]
item['title'] = data.xpath("h4/a/text()").extract()[1].strip()
item['date'] = data.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()[0]
url = data.xpath("h4/a/@href").extract()[0]
request = scrapy.Request(url, callback=self.parse_dir_contents)
request.meta['item'] = item
yield request
next_url = response.url.split('/')
next_url[-1] = str(int(next_url[-1])+1)
next_url = '/'.join(next_url)
yield scrapy.Request(next_url, callback=self.isEmpty)
def isEmpty(self, response):
content = response.xpath("//main/div[@class='no-data d-flex flex-column justify-content-center align-items-center']").extract()
if content == [] :
return self.parse(response)
def parse_dir_contents(self, response):
item = response.meta['item']
item['content'] = response.xpath("//article/div[@class='article_content clearfix csdn-tracking-statistics']/div[@class='markdown_views prism-atom-one-light']").extract()[0]
yield item
保存数据
在命令行中输入命令:
scrapy crawl list -o items.json
该命令将采用 JSON 格式对爬取的数据进行序列化,生成 items.json
文件。
同步数据
Item Pipeline
为了保证采集到的数据与CSDN博客同步,当博客内容更新之后,我们必须再次爬取数据。但再次爬取的数据与已经保存的数据有重合,所以我们需要对新爬取的数据进行验证后再同步到WordPress。于是我们需要使用到Item Pipeline
。
当Item
在Spider中被收集之后,它将会被传递到Item Pipeline
,一些组件会按照一定的顺序执行对Item
的处理。
每个item pipeline
组件(有时称之为Item Pipeline
)是实现了简单方法的Python类。他们接收到Item
并通过它执行一些行为,同时也决定此Item是否继续通过pipeline
,或是被丢弃而不再进行处理。
以下是item pipeline
的一些典型应用:
-
清理HTML数据
-
验证爬取的数据(检查item包含某些字段)
-
查重(并丢弃)
-
将爬取结果保存到数据库中
PyMySQL
PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库 。
项目地址
参考文档
- Scrapy 1.0 中文文档 https://scrapy-chs.readthedocs.io/zh_CN/1.0/index.html
- PyMySQL 0.9.2 https://pypi.org/project/PyMySQL/