爬虫学习
文章平均质量分 77
shanshanhi
这个作者很懒,什么都没留下…
展开
-
Python--网络爬虫之基础篇
1. 网页抓取:就是将URL地址中指定的网络资源从网络流中读取出来,保存到本地,类似于使用程序模拟IE浏览器的功能,把URL作为HTTP请求的内容发送到服务器端,然后读取服务器端的响应资源;2. 在python中,使用urllib2组件实现来抓取网页,其以urlopen函数的形式提供了一个非常简单的接口,简单的urllib2的代码如下:import urllib2r原创 2016-07-19 20:16:06 · 789 阅读 · 0 评论 -
windows下scrapy安装步骤
1. 官网下载python2.7.12并安装在路径D:/Python27目录下;在windows命令行下进入目录,并输入python,显示:则python安装成功2. 配置python环境变量电脑->属性->高级->环境变量->分别双击系统变量(S)中的Path和用户变量中的path->在结尾加上python路径名(此处为D:\Python27)。为测试是否原创 2016-07-05 16:27:29 · 18470 阅读 · 2 评论