scrapy
小卡车7号
加油吧。如梦幻泡影,如电亦如露啊。
展开
-
使用scrapy爬取域名的whois信息
最近收到个需求:查询几百个域名的whois信息,如域名注册时间,到期时间,注册商,域名状态等.如果手动去一个个查询,效率低,而最近刚好在看scrapy,故用它来爬取相关信息. 首先是想尝试去爬阿里云的whois信息,但尝试失败,需要验证码.(先放一边,有空再看).而站长之家也可以查询,而且没验证码,便选择用站长之家来爬取. 要点 1.理解xpath.在爬去相关内容的时候,要用到 2.理解it原创 2016-05-23 14:25:18 · 3528 阅读 · 2 评论 -
在centos7和centos6下安装scrapy
以centos7为例首先准备环境 yum install gcc libffi-devel python-devel openssl-devel libxml2 libxslt-devel libxml2-devel -y安装easy_install yum install python-setuptools安装pip easy_install pip安装 lxml easy_install原创 2016-04-25 18:49:44 · 7846 阅读 · 0 评论