myarche的博客

早在去年，根据搜索的相关资料，已经写出了一部分针对某些网站的爬虫，但是学习的不系统，全部是根据自己搜索由来而做的，对很多较深的原理并不是太懂，这两天找了一套视频，在深入的学习一下。 官网：https://scrapy.org/ 安装就不说了，参考官网，我自己是 Windows7 环境，安装的是 python 环境是 Anaconda3 (64-bit) 2.初步使用 scrapy 新...

一直在window下进行爬虫抓取数据，但是因为国内网络的环境独特性，今天就考虑放到海外服务器上进行抓取 PS：因为之前用的Centos X86 32位的，一路没少踩坑，所以各种限制，各种坑，刚刚重装了服务器系统 PS：python2 版本也是可以的，安装scrapy也容易，关键就在于selenium.webdriver这个兼容，因为有些抓取于面需要模拟浏览器点击等行为。 PS：服务器为裸机，...