访问:https://python123.io/ws/demo.html
产生步骤:
步骤一:简历一个Scrapy爬虫工程
步骤二:在工程中产生一个Scrapy爬虫
步骤三:配置产生的Spider爬虫,使它满足需求
步骤四:运行,获取网页
一;
1.新建文件夹pycodes
文件中会自动生成各种模块:
python123demo/-------------外层目录
-----介绍了内部的各种目录的功能
二;
这样在命令行命令下,就生成了一个文件:
打开:
三;
修改DEMO
我们这个例程的目的是:将爬取的html页面存成文件
四;
在cmd中执行命令
scrapy crawl demo
这样就捕获到了页面文件:
简化版代码入下:
# -*- coding: utf-8 -*-
import scrapy
class DemoSpider(scrapy.Spider):
name = 'demo'
# allowed_domains = ['python123.io']
start_urls = ['https://python123.io/ws/demo.html']
def parse(self, response): #更改爬取方法 :2个参数 面向对象所示关系的标记 ; 网络中返回的对象
fname = response.url.split('/')[-1] #定义文件的名字 从响应的文件中提取响应作为文件的名字
with open(fname,'wb') as f: #返回地内容保存为文件
f.write(response.body)
self.log('Saved file %s.' % name)