![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
我有个朋友是大曹村的
一般般~
展开
-
Scrapy Shell访问jandan被拒解决方法
是用Scrapy Shell调试爬虫,测试jandan的是否发现,煎蛋网好像有简单的防爬功能。各种百度。总结一下1.start_requests(self)添加user-agent字段2.中间件方式。但是上述方式都不能在shell中奏效,调试很不方便。很简单;直接修改scrapy的user-agent默认值搞定。settings/default-setting.py246原创 2015-07-23 19:20:03 · 1528 阅读 · 0 评论 -
scrapy抓取一个电影网站信息
使用scrapy抓取ashvsash电影网站的电影信息。这里只简单的print信息,没有存储到数据库,稍加修改使能pipe,用PyMySQL或者mongdb库,过滤一下数据即可。备注:提取信息的时候有些网页会失败,需要细致调整。直接代码# -*- coding: utf-8 -*-import scrapy#打印函数,方便查看def my_print(a_map):原创 2017-02-03 11:21:43 · 1814 阅读 · 0 评论