![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy 學習紀錄
vivianwang0709
这个作者很懒,什么都没留下…
展开
-
網絡爬蟲,防止被ban
@匿名爬蟲 tor pysocket http://www.evil0x.com/posts/14147.html @防止被ban:表頭、cookies、切換ip http://www.tuicool.com/articles/JVryQvb @useragent 池 http://m.blog.csdn.net/article/details?id=357743原创 2016-06-08 10:20:09 · 302 阅读 · 0 评论 -
分部式爬蟲(一) 創建環境
本篇說明如何建置爬蟲的分部式環境,使用Centos 6.5,重頭開始部屬 1. 首先先下載GIT 說明:之後做版本控制和下載開源項目需要使用到 @下載 develope tools http://www.linuxidc.com/Linux/2015-02/113351.htm @yum下載git http://www.centoscn.com/image-原创 2016-06-03 13:24:06 · 262 阅读 · 0 评论