最近一直痴迷于用python爬取《权利的游戏》里面的琼恩雪诺的图片,简直帅爆了啊......
看了好几个代码和视频,却总是没能成功,一个麦子学院12分钟的视频我硬是看了二十几个小时,吐血.....
倒是把MOOC上的图片爬来了五十几张 ,晕.....
总结一下爬取图片要用到的模块和其他知识:
要用到的python模块:requests模块(http://www.cnblogs.com/tangdongchu/p/4229049.html)
os模块(管理文件、目录的一个模块)
urllib模块
使用到的函数: urllib.urlretrieve()函数(可以直接把远程的html文件下载到本地)
相关视频:http://www.maiziedu.com/course/645-10029/
持续入坑还得学习以下内容:
1.Scrapy爬虫框架
2.beautiful soup()
3.知乎 何明科
4.分布式爬虫