python scrapy安装及简单运用

本机环境是window10环境，直接在命令行安装

一、首先安装python环境、我安装python3.7.7

链接：https://pan.baidu.com/s/1khGpx1vIn22nijuIkY2r8Q
提取码：nt52
一路next就可以

二、安装scrapy

命令行执行命令pip install scrapy
由于是国外镜像，可能下载途中超时
参考：https://www.cnblogs.com/bigb/p/12146418.html
pip下载国内镜像

安装如果错误也可以参考：https://blog.csdn.net/fire_lch316/article/details/102890144
是否是你的错误
如果安装成功，命令行最后会显示

三、安装python编译器 pycharm

链接：https://pan.baidu.com/s/1s23fNcqDhR3v2BNn9mRBKg
提取码：vtf4

四、scrapy框架的使用

bilibili上面有很多教程

1、创建爬虫项目

命令行输入：scrapy startproject hanzida

2、创建爬虫文件

进入到创建的爬虫项目目录下执行命令：
scrapy genspider hanyuSpider hanyu.baidu.com
hanyuSpider是你的文件名字，不要与项目名字重名
'hanyu.baidu.com’是你要爬取的网站域名

在项目下就创建了爬虫文件

如果你是新项目的话，spiders下面就两个文件
_init.py、hanyuSpider.py （其它文件是我之前创建的）

3、在hanyuSpider.py里面写你的爬虫逻辑

我以百度汉语一个网页为例子

爬取好字的基本释义，查看网页源代码

代码

# -*- coding: utf-8 -*-
import scrapy


class HanyuspiderSpider(scrapy.Spider):
    name = 'hanyuSpider'
    allowed_domains = ['hanyu.baidu.com']
    start_urls = ['https://dict.baidu.com/s?wd=好&from=poem']

    def parse(self, response):
        selectors = response.xpath('//div[@id="basicmean-wrapper"]/div/dl')
        if selectors is not None:
            for selector in selectors:
                select = selector.xpath('./dd//p')
                for sele in select:
                    ss = sele.xpath('./text()').get()
                    print(ss)

start_urls是我们爬取的起始网页
response是响应结果，我们采用xpath方法
xpath语法可以参考：https://blog.csdn.net/Chengf_/article/details/90299752
我们分析网站源代码发现，基本释义p标签内容，通过层级关系匹配出来
代码附上了，需要大家仔细琢磨下，不懂的欢迎留言区讨论

4、运行爬虫文件

scrapy crawl hanyuSpider（你的爬虫文件名字）

可以看到p标签里面的基本释义取出来了。

解释：本文参考了一些文章和爬取了百度汉语网页，如果侵权的欢迎留言，本人删除即可