![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
文章平均质量分 70
埋bug的明叔
男,伪漫画爱好者,伪网游爱好者,pretendtober,非伪娘……
在埋bug的道路上,越走越远 = =...
展开
-
Python-Scrapy 个人兴趣教程(一):买好装备再出门
出于工作原因,接触python半年,又由于工作原因,暂别python。作为一个从C直接跳跃到python的迷途码农,真的觉得编程突然好幸福,再也不用自己管内存了,再也不用重复早轮子了,再也不用检查类型了,什么东西都有库支持!当然,以上感觉只停留了一个星期。。。python就像是瑞士军刀,万能的工具,只是打开后你会发现,重复的工具比较多,选哪一个都觉得另一个好- -。吐槽结束,这原创 2015-05-19 14:24:15 · 1085 阅读 · 0 评论 -
Python-Scrapy 个人兴趣教程(二):没错,从代理IP开始
想要在Scrapy领域无限制畅游,做好伪装是第一步,于是乎,抓取代理IP成了很多教程的开始部分。我十分同意这个观点,既有实际用处,又能作为一个教学,当然,对于初次使用scrapy的我,很多东西也只是在摸索阶段,所以以下内容算不上教学,只能说是练手。完成代理IP抓取,总共分三个步骤:抓取网络上的代理IP和端口验证已经抓取的内容网络上的免费代理IP基本都有时效性,所以需要重原创 2015-05-25 15:24:23 · 6599 阅读 · 1 评论 -
Python-Scrapy 个人兴趣教程(三):扫尾
上一篇博文已经完成了代理IP抓取的核心部分,这一篇主要讲一下代理IP的检测。所谓HTTP代理,检测方法很简单,就是用代理去请求一个网址,看看是否能够拿到正确回应。因为我们抓取IP是周期进行的,所以代理IP的验证也要不停的进行,简单说来就是一个队列的形式,抓取系统不停往队列里扔IP,检测进程不停取出IP进行检测,检测合格的IP放入另一个队列,不合格的直接丢弃。当然,因为代理IP的时效性,存放检测原创 2015-05-26 15:31:04 · 2010 阅读 · 1 评论