AttributeError: 'NoneType' object has no attribute 'find_all'(添加请求头信息)

今日份遇到错误的解决记录：
今天爬取豆瓣Top250个电影的时候，写好代码却报了这个错，一开始认为列表上用了find()方法，换成find_all（）之后还是不行，换了别的标签也不行，于是使用print(html.text)想的把解析之后的网页代码输出看看，结果啥都没有，连源代码都是空的什么都不输出！！！！

最后想查看一下获取网页源码状态：print(res.status_code)

发现了问题所在，一般源码获取成功的话执行状态码是200，这次却是418！！！
于是查了一下418是代表什么：

执行状态码：418解释（找到了一个介绍比较详细的博客）

原来这里的418是网页服务器的反爬虫程序返回的，意思就我们被该网页服务器的反爬虫程序发现了，并禁止我们爬取，所以下一步就是需要我们模拟浏览器，重新给服务器发送请求，并且添加头等信息headers，headers是解决requests请求反爬的方法之一，相当于我们进去这个网页的服务器本身，假装自己本身在爬取数据。对反爬虫网页，可以设置一些headers信息，模拟成浏览器取访问网站 。

下一步获取并添加这个headers信息：

找到了一个写的超详细的博客【点击字体即可查看】

获取headers信息的步骤：

第一步：找到headers

第二步：找到这个信息之后，把信息添加到代码里面

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36'}
href='https://movie.douban.com/top250?start='+str((i-1)*25)+'&filter='#网页链接URL
res=requests.get(href,headers=headers)
#头等信息
html=res.text
soup=BeautifulSoup(html,'html.parser') #解析网页代码

添加进去头信息之后就解决了禁止爬取的问题了。

我的完整代码：

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36'}

for i in range(1,11):
    #因为一页只有25个电影简介，所以需要10页
    href='https://movie.douban.com/top250?start='+str((i-1)*25)+'&filter='
    res=requests.get(href,headers=headers)
    #头等信息
    html=res.text
    soup=BeautifulSoup(html,'html.parser') #解析网页代码
    #需要爬取 序号，电影名，评分，推荐语，链接
    movies=soup.find('ol',class_='grid_view').find_all('li')
    for movie in movies:
        movie_num=movie.find('div',class_='pic').find('em') #电影序号
        movie_name=movie.find('div',class_='info').find('span',class_='title') #电影名称
        movie_star=movie.find('div',class_='star').find('span',class_='rating_num') #电影评分
        movie_recommend=movie.find('p',class_='quote') #电影推荐语
        movie_href=movie.find('div',class_='pic').find('a')#电影链接 movie_href['href']
        if all([movie_name,movie_href,movie_num,movie_star,movie_recommend]):#表示都不为空
            print('排行第'+movie_num.text+'的电影:'+'\n')
            print('电影名：'+movie_name.text.strip()+'\t'+'评分：'+movie_star.text)
            print('推荐语：'+movie_recommend.text+'\n')
            print('链接：'+movie_href['href'])
            print('\n'+'******************************'+'\n')
        else:
            pass

#注释：

1. 获取Top250的时候豆瓣上写用10也显示的，这10页链接是有规律的（n-1）*25
2. 当爬取到第245个电影的时候，该电影推荐语是空的，啥都没有，这时候又报了上述错误，就是空类型没有text方法
   
3. 这个时候就需要添加判断语句if，同时判断几个元素的方法https://www.colabug.com/2020/0222/7028890/amp/找到了这个博客，里面有超详细的介绍if all([movie_name,movie_href,movie_num,movie_star,movie_recommend]): #表示都不为空

运行结果：

最后所有问题都解决了，欧耶！！！！！

作为初学python爬虫的菜鸟，以上问题解决真的花了我很长时间，真的！！！！不过真的学到了东西 ， 手动比心