scrapy操作流程

 

 

scrapy操作流程

 

 

 

1. 创建项目

使用scrapy命令行工具创建项目目录结构

scrapy startproject xpc

创建完了以后，我们会看当前目录下有一个xpc文件夹，然后

cd xpc

2. 创建虚假环境

首先要切换到相应的python版本下，然后再

virtualenv env
source activate env/bin/activatevirtualenv env
source activate env/bin/activate

环境激活以后，可以安装项目所需要相关包

pip install scrapypip install scrapy

生成一下项目的requirements.txt文件

pip freeze > requirements.txt

生成requirements.txt文件的目的是为了让项目的环境能够快速生成，并且，使项目依赖文档化。

pip install -r requrements.txt

# 生成spider文件
scrapy genspider discovery xinpianchang.com
# 编辑spiders/discovery.py文件内的parse函数
# 编辑完成以后，运行爬虫
scrapy crawl discovery
​
scrapy genspider discovery xinpianchang.com
# 编辑spiders/discovery.py文件内的parse函数
# 编辑完成以后，运行爬虫
scrapy crawl discovery
​

parse函数是scrapy默认第一个调用的回调函数，也就是它是start_urls的回调函数。如果想要修改默认回调函数，需要修改scrapy.Spider.start_requests方法。

 

操作过程注意事项

XPath Helper 谷歌浏览器插件的使用，快速进行xpath匹配。快捷键： ctrl shift x

scrapy shell 的使用

1、首先在环境下安装：pip install ipython
2、scrapy shell + 网址
    # scrapy shell "http://www.xinpianchang.com/channel/index/sort-like?from=tabArticle"
## 可以得到网页的具体信息，同时可以进行查询，查找，debug
## response.xpath("//ul[@class="video-list"]/li")   # 查找匹配内容
## response.text.find('123456') # 查找123456
​
scrapy view url  : 下载网页，并浏览器打开 
​
2、scrapy shell + 网址
    # scrapy shell "http://www.xinpianchang.com/channel/index/sort-like?from=tabArticle"
## 可以得到网页的具体信息，同时可以进行查询，查找，debug
## response.xpath("//ul[@class="video-list"]/li")   # 查找匹配内容
## response.text.find('123456') # 查找123456
​
scrapy view url  : 下载网页，并浏览器打开 
​

延迟加载属性(懒加载)

_src='http://................'_src='http://................'

xpath 中 following-sibling:: 的使用

# 用户所在地区，定位到icon-location这个span,然后再取它相邻的下一个span
location = response.xpath('//span[contains(@class, "icon-location")]/following-sibling::span[1]/text()').get()
location = response.xpath('//span[contains(@class, "icon-location")]/following-sibling::span[1]/text()').get()

 

xpath匹配：包含函数 contains

cr['roles'] = composer.xpath('.//span[contains(@class, "roles")]/text()').get()
​
## './/span[contains(@class, "roles")]/text()'  # 匹配 标签中包含 "roles" 的 class标签
​
## './/span[contains(@class, "roles")]/text()'  # 匹配 标签中包含 "roles" 的 class标签

 

a,*b,c 的使用

score = [3,4,5,7,8,6,9]
score.sort()
max,*real_score,min = score
real_score
#[4,5,6,7,8]
max,*real_score,_ = score
score.sort()
max,*real_score,min = score
real_score
#[4,5,6,7,8]
max,*real_score,_ = score

生成26字母

ord('a')
d = {}
for i in range(97,97+26):
    d[chr(i)] = i
d
# {'a':97,'b':98,'c':99.................'z':122}ord('a')
d = {}
for i in range(97,97+26):
    d[chr(i)] = i
d
# {'a':97,'b':98,'c':99.................'z':122}

 

实现断点续爬

scrapy crawl discovery-L INFO -s JOBDIR=/tmp/discovery
​
停止后，再次启动，指定这个文件路径，继续爬取。scrapy crawl discovery-L INFO -s JOBDIR=/tmp/discovery
​
停止后，再次启动，指定这个文件路径，继续爬取。

 

 

 

 

 

 

scrapy操作流程

 

1. 创建项目

使用scrapy命令行工具创建项目目录结构

scrapy startproject xpc

创建完了以后，我们会看当前目录下有一个xpc文件夹，然后

cd xpc

2. 创建虚假环境

首先要切换到相应的python版本下，然后再

virtualenv env
source activate env/bin/activatevirtualenv env
source activate env/bin/activate

环境激活以后，可以安装项目所需要相关包

pip install scrapypip install scrapy

生成一下项目的requirements.txt文件

pip freeze > requirements.txt

生成requirements.txt文件的目的是为了让项目的环境能够快速生成，并且，使项目依赖文档化。

pip install -r requrements.txt

# 生成spider文件
scrapy genspider discovery xinpianchang.com
# 编辑spiders/discovery.py文件内的parse函数
# 编辑完成以后，运行爬虫
scrapy crawl discovery
​
scrapy genspider discovery xinpianchang.com
# 编辑spiders/discovery.py文件内的parse函数
# 编辑完成以后，运行爬虫
scrapy crawl discovery
​

parse函数是scrapy默认第一个调用的回调函数，也就是它是start_urls的回调函数。如果想要修改默认回调函数，需要修改scrapy.Spider.start_requests方法。

 

操作过程注意事项

XPath Helper 谷歌浏览器插件的使用，快速进行xpath匹配。快捷键： ctrl shift x

scrapy shell 的使用

1、首先在环境下安装：pip install ipython
2、scrapy shell + 网址
    # scrapy shell "http://www.xinpianchang.com/channel/index/sort-like?from=tabArticle"
## 可以得到网页的具体信息，同时可以进行查询，查找，debug
## response.xpath("//ul[@class="video-list"]/li")   # 查找匹配内容
## response.text.find('123456') # 查找123456
​
scrapy view url  : 下载网页，并浏览器打开 
​
2、scrapy shell + 网址
    # scrapy shell "http://www.xinpianchang.com/channel/index/sort-like?from=tabArticle"
## 可以得到网页的具体信息，同时可以进行查询，查找，debug
## response.xpath("//ul[@class="video-list"]/li")   # 查找匹配内容
## response.text.find('123456') # 查找123456
​
scrapy view url  : 下载网页，并浏览器打开 
​

延迟加载属性(懒加载)

_src='http://................'_src='http://................'

xpath 中 following-sibling:: 的使用

# 用户所在地区，定位到icon-location这个span,然后再取它相邻的下一个span
location = response.xpath('//span[contains(@class, "icon-location")]/following-sibling::span[1]/text()').get()
location = response.xpath('//span[contains(@class, "icon-location")]/following-sibling::span[1]/text()').get()

 

xpath匹配：包含函数 contains

cr['roles'] = composer.xpath('.//span[contains(@class, "roles")]/text()').get()
​
## './/span[contains(@class, "roles")]/text()'  # 匹配 标签中包含 "roles" 的 class标签
​
## './/span[contains(@class, "roles")]/text()'  # 匹配 标签中包含 "roles" 的 class标签

 

a,*b,c 的使用

score = [3,4,5,7,8,6,9]
score.sort()
max,*real_score,min = score
real_score
#[4,5,6,7,8]
max,*real_score,_ = score
score.sort()
max,*real_score,min = score
real_score
#[4,5,6,7,8]
max,*real_score,_ = score

生成26字母

ord('a')
d = {}
for i in range(97,97+26):
    d[chr(i)] = i
d
# {'a':97,'b':98,'c':99.................'z':122}ord('a')
d = {}
for i in range(97,97+26):
    d[chr(i)] = i
d
# {'a':97,'b':98,'c':99.................'z':122}

 

实现断点续爬

scrapy crawl discovery-L INFO -s JOBDIR=/tmp/discovery
​
停止后，再次启动，指定这个文件路径，继续爬取。scrapy crawl discovery-L INFO -s JOBDIR=/tmp/discovery
​
停止后，再次启动，指定这个文件路径，继续爬取。