![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
task138
这个作者很懒,什么都没留下…
展开
-
写个python,爬行【游明星空】的壁纸(1)
背景: 最近在学python的爬虫,发现这个python挺有意思的,语法简单易懂,思路耿直,不兜弯,不绕圈。正好拿些什么练练手,挺喜欢游明星空的壁纸,特别是那个【每周壁纸精选】的栏目,现在还好,提供了百度云的打包下载,以前的可没有这个服务,要不,写个python,自动把每一期的所有壁纸都下载到本地 好像很简单,又好像有点复杂,就干脆一点一点来写吧,办法总比困难多设计思路: 1、f...原创 2018-02-15 17:40:56 · 342 阅读 · 0 评论 -
写个python,爬行【游明星空】的壁纸(2)
前文摘要/本文内容:在上一篇文章中,我们已经装好了一些软件了,虽说磨刀不误砍柴工,但是这个磨刀啊,也是有技巧的难道,python装完之后,就不用调试了吗?难道,pycharm装完之后,你不觉得字体很小吗?难道,这么多的英文,你都看的懂吗?倘若你心无以上杂念,一切代码在你眼里只是26个字母附加几个破字符的事,那么,你就是我们心目中的老司机,带我发车吧!python的第三方库:python的强大,在于...原创 2018-02-15 21:26:54 · 293 阅读 · 0 评论 -
写个python,爬行【游明星空】的壁纸(3)
前文摘要/本文内容:现在,刀已经磨成了等离子影秀了,可以上山砍柴了,从这个章节开始,写爬行脚本的内容,按照当时的设计思路,先是写爬行所有期数链接的脚本引入第三方模块scrapy我的爬行,很大程度都是基于scrapy的方法和内容,怎么简单怎么来,先安装scrapy模块【pip install scrapy】安装scrapy,总是会有一些想不到的错误让你摸不着头脑,不是每次都这么的顺利的,亲测引入第三...原创 2018-02-15 23:00:19 · 256 阅读 · 0 评论 -
写个python,爬行【游明星空】的壁纸(4)
前文摘要/本文内容:在上一篇文章中,我们已经成功的把每一期的链接爬行了下来,并且以txt记事本的形式存储到了本地。那么,是时候进行收尾工作,把壁纸都下载到本地了页面分析:首先,我们还是先打开一期,分析一下它的页面随便点击一张图片,发现它进去了另一个页面,页面上方依旧有游明星空的导航栏,此时发现,图片还可以点击,最后是这样的效果为什么要点两次啊?这很不应该啊?接下来从html源码分析第一次访问的a标...原创 2018-02-16 19:09:42 · 304 阅读 · 0 评论 -
写个python,爬行【游明星空】的壁纸(5)
前文摘要/本文内容:好的,我们已经把爬虫的脚本写出来了,写完之后,我们去执行,发现,实际上,在很多细节上,它并不是很好,正所谓,先实现产品功能,再做产品优化嘛,所以这一节,我们就分析一下,脚本都有哪些的不好,需要改善什么内容线程单一:整体的过程是这样的,获取一期的url,请求这个url,获取html代码,抓取壁纸图片url,然后再遍历下一页,如果遍历成功,继续下载壁纸图片。完成了一期的下载后,再进...原创 2018-02-16 20:26:32 · 260 阅读 · 0 评论