python爬虫
JohnsonSmile
这个作者很懒,什么都没留下…
展开
-
python爬虫第二课:请求头之伪装UA
UA:'User-Agent',一些网站最基本的反爬虫手段就是通过UA判断来源,如果UA不正常,则可能是机器人了。 现在进行伪装,建立一个字典,如果懒得去浏览器上复制,则可以使用fake_useragent库的UserAgent模块: # headers.py from fake_useragent import UserAgent; class headers: def __in...原创 2019-04-08 18:39:21 · 1310 阅读 · 0 评论 -
scrapy框架之今日电影
城市电影广州今日电影网址: http://guangzhou.movie.iecity.com/FilmList.html ①items.py:定义爬取项目,添加类成员 # -*- coding: utf-8 -*- # Define here the models for your scraped items # # See documentation in: # https://doc.sc...原创 2019-05-09 19:16:14 · 259 阅读 · 0 评论