在周末的Python爬虫实践中，遇到了HTTPError: Forbidden问题，通过更换User-Agent解决；正则表达式匹配问题，学习了更多正则语法；在写入txt文件时了解了追加和覆盖模式；遇到unicode编码错误，使用反斜杠解决路径问题；通过正则表达式排除特定字符和字符串；掌握strip()家族方法去除字符串首尾内容；理解并修正了类型对象不可下标和列表中删除元素的方法，以及解决了缩进错误。
周末闲来无事，写了几个爬虫程序，主要是爬图片网站的图片，还有豆瓣top250的名字和评分
具体的全部源码单独写一篇进行展示，这里只记录一下写爬虫期间遇到的一些杂七杂八的问题
1.HTTPError: Forbidden
这个主要就是爬豆瓣的时候，访问可能太频繁了，被认出来是爬虫，就拒绝访问了
解决方法主要就是：
①换个ip，不过我是手机热点，重连了依然如此，更换代理ip也是如此，可能是我代码的问题
②把代码里面agent的部分换一下，比如我的之前是：
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36')]
我换成
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0')]
就可以访问了，更换一个浏览器，然后打开审查元素，在里面找的
2.nothing to repeat的问题
这个就出现了一次，应该是正则模块匹配字符的时候没有匹配到任何字符，不管他
正则语法表达式我用的还不是很6，仅仅能试出来之后用代码记着，用的时候照搬
3.写入txt的问题
把变量转为字符串，然后：
with open('D:\\te
最低0.47元/天 解锁文章
扫一扫
2056
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
