Python,爬虫,Web
BUAA-XX
关注后端架构开发 云计算 人工智能 计算机视觉
展开
-
基于Python的爬虫项目一——城市天气
基于Python的爬虫项目一——城市天气这个是一个非常simple的东西,二话不说,直接上代码喽。 主要用到了urllib.request库和json解析,个人感觉比urllib2好用。 下面是代码,个人感觉实在没什么可以值得讲解的。PS.城市代码字典自己搞喽,又是文本处理之类的。# encoding=UTF-8import urllib.requestimport jsondef nex原创 2017-01-14 22:34:48 · 845 阅读 · 0 评论 -
Python豆瓣爬虫
豆瓣爬虫代码这里是爬去豆瓣图书的,修改一下爬什么电影/音乐应该很easy架构:1、urlib request使用,浏览器header伪装(随机从不同header选择),汉字代码解码我认为本人做得比较好的2、ip地址爬取,豆瓣查ip访问统计的,同一ip访问次数多就封掉,因此,我们使用代理。为了不被封,我们使用不同的代理ip,但是如何获得?我们去爬ip,用爬到的ip再去爬ip。如此循环,完美。3、re表原创 2017-01-15 11:37:40 · 966 阅读 · 0 评论