python
wangli2763
这个作者很懒,什么都没留下…
展开
-
Python爬虫:常用浏览器的useragent
1,为什么需要修改UserAgent 在写python网络爬虫程序的时候,经常需要修改UserAgent,有很多原因,罗列几个如下: 不同Agent下看到的内容不一样,比如,京东网站上的手机版网页和pc版网页上的商品优惠不一样为避免被屏蔽,爬取不同的网站经常要定义和修改useragent值。...... 修改agent值这个操作本身比较简单,UserAgent值是一串字符串,替换转载 2016-12-12 17:44:32 · 390 阅读 · 1 评论 -
windows系统下搭建爬虫框架scrapy
摘要:本机环境为windows 7,64位系统,python 2.7(装成了32位的了) 自己虽接触python有一月有余,但仍属于菜鸟一枚,此文主要记录自己在windows上搭建scrapy的过程。 1.安装twisted https://pypi.python.org/simple/twisted 里面有很多版本,最后下载exe格式的可以自动安装,我下载的版本是Twiste转载 2016-12-09 10:59:42 · 255 阅读 · 0 评论