在尝试爬取廖雪峰Python教程网站时，作者发现爬虫在爬取某些章节时返回None。错误定位到'NoneType' object has no attribute 'get_text'，可能原因在于服务器的反爬机制或网页结构变化。代码中使用BeautifulSoup解析网页并查找特定class的div元素，但在Python基础章节开始返回None。解决方案可能包括检查URL有效性、处理HTTP错误、更新解析策略或采用更健壮的爬虫策略。
想获取廖雪峰python教程网站的内容练练手，发现有的章节能返回数据，但到Python基础这一章开始返回的都是None，没明白问题出在哪，求教
错误如下：
Traceback (most recent call last):
File "scraping_the_tutorial.py", line 36, in
get_urls()
File "scraping_the_tutorial.py", line 34, in get_urls
parse_url_to_html(a.attrs["href"],a.get_text())
File "scraping_the_tutorial.py", line 23, in parse_url_to_html
content = content.get_text()
AttributeError: 'NoneType' object has no attribute 'get_text'
代码如下：
import requests
from bs4 import BeautifulSoup
# session对象
session = requests.Session()
# 用于表明自己是何浏览器以及指定返回数据格式
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 \
(KHTML, like Gecko) Chrome/
最低0.47元/天 解锁文章
扫一扫
2771
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
