spider
文章平均质量分 62
gaorunwei
这个作者很懒,什么都没留下…
展开
-
scrapy 爬虫
原创 2018-05-17 11:49:46 · 191 阅读 · 0 评论 -
CrawlSpdier(规则爬虫)
原创 2018-05-17 11:53:46 · 403 阅读 · 0 评论 -
关于反爬虫,我用实际案例告诉你(三大方法)
1.使用User-Agent--代表身份直接用urllib2(python3使用代替urllib.request)给一个网站发送请求的话,确实略有些唐突了,就好比,人家每家都有门,你以一个路人的身份直接闯进去显然不是很礼貌。而且有一些站点不喜欢被程序(非人为访问)访问,有可能会拒绝你的访问请求。但是如果我们用一个合法的身份去请求别人网站,显然人家就是欢迎的,所以我们就应该给我们的这个代码加上一个身...原创 2018-05-17 14:47:49 · 4671 阅读 · 0 评论 -
抓取淘宝美食数据
1. 得到所有页的数量2. 解析页面得到产品信息3. 实现翻页面得到所有关于美食的数据 from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom se...原创 2018-05-17 14:57:32 · 816 阅读 · 0 评论 -
scrapy和scrapy_redis的理解
一、scrapy和scrapy_redis的区别:scrapy 是一个通用的爬虫框架,其功能比较完善,可以迅速的写一个简单爬虫,并且跑起来。scrapy-redis是为了更方便地实现scrapy分布式爬取,而提供了一些以redis为基础的组件(注意:scrapy-redis只是一些组件,而不是一个完整的框架)。假如scrapy是一工厂,能够出产你要的spider。而scrapy-redis是其他厂...转载 2018-05-22 21:23:33 · 711 阅读 · 0 评论