scrapy基础
ATOM_123
这个作者很懒,什么都没留下…
展开
-
Scrapy模拟登录赶集网
在我们输错密码时按下F12就可查看到如下信息 会发现有个随机的hash值(普遍规律:这种hash值会在网页源码中) 于是我们去网页源码中找 在模拟登录赶集网的时候出现的问题: 1.allowed_domains这个字段的理解,回调函数失败的原因 (把限制域名注释掉就可以了!allowed_domains) import scrapy import re ...原创 2020-03-12 13:41:23 · 160 阅读 · 0 评论 -
爬取猫眼电影(推送item)( 减少IO文件流)
import scrapy class MaoyanSpider(scrapy.Spider): name = 'maoyan' allowed_domains = ['maoyan.com'] start_urls = ['https://maoyan.com/films?showType=3'] def parse(self, response): ...原创 2020-03-11 11:39:44 · 209 阅读 · 0 评论