Python新手写爬虫全过程记录分析

partition() 方法用来根据指定的分隔符将字符串进行分割。

如果字符串包含指定的分隔符，则返回一个3元的元组，第一个为分隔符左边的子串，第二个为分隔符本身，第三个为分隔符右边的子串。

partition() 方法是在2.5版中新增的。参考：http://www.w3cschool.cc/python/att-string-partition.html

这样我就得到只有内容的字符串了，干净～

第二步：

得到title的内容。title的格式如下，我只要’【2】‘后面的文字，后面的img暂时不考虑一步步的来。

【2】这是我最近的状态，请告诉我不是我一个人！

http://ww4.sinaimg.cn/mw690/005CfBldtw1etay8ifthnj30an0aot8w.jpg />

我写了下面的方法：

这里用try…except是因为我不知道怎么跳出循环。。。。求大神有更好的方法告诉我。

我这里跳出循环用的是当抛出VlaueError异常就说明找不到了，那就返回列表。就跳出循环了。

num1是】的位置，num2是

的位置，然后用序列的切片，咔嚓咔嚓一下就是我想要的数据了。这里需要注意的是：切片’要头不要尾‘所以我们的得到的数据就是这个样子的：

哎呀，这个是什么鬼！要头不要尾就是这个意思！

然后我就想：那就把num1加1不就完了吗？我真是太天真了。。。。

请+3，我觉得原理是这样的，这个是个中文字符！（求大神指点）

第三步：

交代清楚我昨天晚上做的事情了，记录下时间——10:01，下面我要爬图片的url了。这里要说一下，如果要把图片下下来，最重要的一步就是得到url，然后下载下来保存到本地(用文本的IO)。

我先获得url，实现原理同获取title，我在想，既然一样卸载获取title的方法里好，还是在写一个方法好。我单独写了一个方法，但是其实就是复制了一下title的方法，改了下匹配的字符串，代码如下：

结果图如下：

这里发现，有的时候一个title会有很多个图片。我思考之后有如下思路：

1.需要写一个方法，当一个title出现多个图片的时候，捕获url。这个需要有一个判断语句，当url长度大于一个url长度的时候，才需要调用这个函数。

2.多个图片的url怎么放？使用符号隔开存放还是嵌套放入一个数组里面？我这里打算用’|‘隔开，这样的话加一个判语句，或者先判断一下url长度，都可以进行。

这个问题先放在这里，因为当我要下载的时候这个url才需要过滤，所以先进行下一步，把数据存到本地txt文中，这里在解决这个问题也不晚。

第四步：

把数据存到本地的txt中。Python文件IO参考资料：http://www.w3cschool.cc/python/python-files-io.html

这里需要注意的是，文本写入的时候记得close，还有就是注意打开文本的模式。

这里我考虑了一个问题，根据《编写高质量代码——改善python程序的91个建议》这本书中写道的，字符串连接时，用jion()效率高于’+‘

所以我写了如下代码：

这样造成了一个问题，看图

造成最后一个和新的一个列表写入时在同一行。同时用with…as更好。修改后代码如下：

下面研究title和img以什么样的格式存入txt文本：

title$img

这里我有一个概念混淆了，+和join()方法的效率问题主要在连接多个字符串的时候，我这个只用连接一次，不需要考虑这个问题。

文本中的内容如下：

愿你贪吃不胖，愿你懒惰不丑，愿你深情不被辜负。$http://ww1.sinaimg.cn/mw690/005CfBldtw1etay8dl1bsj30c50cbq4m.jpg"

这是我最近的状态，请告诉我不是我一个人！$http://ww4.sinaimg.cn/mw690/005CfBldtw1etay8ifthnj30an0aot8w.jpg

引诱别人和你击拳庆祝，然后偷偷把手势变成二，就可以合体成为蜗牛cosplay……$http://ww2.sinaimg.cn/mw690/005CfBldtw1etay8fzm1sg30b40644qq.gif

原来蜗牛是酱紫吃东西的。。。。涨姿势！$http://ww4.sinaimg.cn/mw690/005CfBldtw1etay8egg8vg30bo08ax6p.gif
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

008edf79.png)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）