Python爬虫报错(属性报错):AttributeError: ‘NoneType‘ object has no attribute ‘children‘

Python爬虫报错:AttributeError: ‘NoneType’ object has no attribute ‘children’

近期,有很多小伙伴问我在爬虫过程中遇到的一个问题AttributeError: ‘NoneType’ object has no attribute ‘children’,通过查询后也没有找到较好的解决方法。本文给大家提供一个解决方案。

爬取网页示例

网站:产业信息网
图片示例:在这里插入图片描述

代码

Created on Fri Jan 20 11:30:31 2023

@author: 北辰远_code

I love python.快乐每一天!
"""
import requests
from bs4 import BeautifulSoup
import bs4
import csv

def getHTMLText(url):#爬取网站数据
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return '爬取失败'

def fillUnivlist(ulist,html):#解析网站数据
    soup = BeautifulSoup(html,"html.parser") 
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].text,tds[1].text,tds[2].text,tds[3].text,tds[4].text,tds[5].text,tds[6].text,tds[7].text])

def writeUlistfile(ulist,dataname):#将网站存入csv文件
    with open(dataname,'w',encoding = 'utf-8',newline='') as fout:
        writer = csv.writer(fout)
        for row in ulist:
            writer.writerow(row)
            
url1 = 'https://www.chyxx.com/industry/202105/953391.html'
html1 = getHTMLText(url1)
uinfo1 =[]
fillUnivlist(uinfo1,html1)
writeUlistfile(uinfo1,'各种油产量初.csv')

报错

Traceback (most recent call last):
  File "D:\Users\Qi520503\Desktop\shiyou\未命名3.py", line 45, in <module>
    fillUnivlist(uinfo1,html1)
  File "D:\Users\Qi520503\Desktop\shiyou\未命名3.py", line 29, in fillUnivlist
    for tr in soup.find('tbody').children:
AttributeError: 'NoneType' object has no attribute 'children'

解决方案:
加入urllib3模块,关闭ssl警告。
在这里插入图片描述

代码如下:

import requests
from bs4 import BeautifulSoup
import bs4
import csv
import urllib3
urllib3.disable_warnings()

def getHTMLText(url):#爬取网站数据
    try:
        r = requests.get(url, timeout = 30,verify=False)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return '爬取失败'

运行后无报错,爬取的数据正常保存在csv文件中。在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北辰远_code

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值