爬虫疑惑
区区不才嗷
这个作者很懒,什么都没留下…
展开
-
python爬虫数据寻找过程(解决爬虫异步导致AttributeError: 'NoneType' object has no attribute 'find_all'错误)
前边写了url的分析我们爬取想要的数据,一般是打开网站链接,用浏览器的elements功能对网页标签进行数据分析,确定想要的数据的位置,再在代码中通过requests库的get和post方式发起请求,得到返回的内容,再用美味汤进行数据查找,最后保存。但这是静态加载的网站的数据分析方式,学习别人代码时会出现AttributeError: 'NoneType' object has no at...原创 2019-11-29 21:28:08 · 11807 阅读 · 2 评论 -
解决Python print 输出文本显示 gbk 编码错误问题
复制过来地,来源https://www.jb51.net/article/143722.htm前阵子想爬点东西,结果一直提示错误UnicodeEncodeError: ‘gbk' codec can't encode character ‘\xa0' in position,在网上一查,发现是 Windows 的控制台的问题。控制台的编码是 GBK,Python 是 UTF-8,造成了冲突。下...转载 2019-11-29 14:38:18 · 1514 阅读 · 0 评论 -
python爬虫URL分析
每个URL都由两部分组成。前半部分大多形如:https://xx.xx.xxx/xxx/xxx,后半部分,多形如:xx=xx&xx=xxx&xxxxx=xx&……,两部分使用?来连接例子:http://s.ygdy8.com/plus/s.php?typeid=1&keyword=%CB%AE%D0%CE%CE%EF%D3%EF,这是对阳光电影网站搜索水形物...原创 2019-11-23 23:38:03 · 1307 阅读 · 0 评论