BeautifulSoup的string是navigablestring不能存入MySQL数据库怎么办?

在练习爬虫时,使用BeautifulSoup解析HTML文档后,希望把数据保存到MySQL数据库,但是在插入数据库时出现报错:

 for key , value in ulist.items():
        cursor.execute('INSERT INTO UList values(%s,%s,%s,%s,%s)',[key,value[0],value[1],value[2],value[3]])

mysql.connector.errors.ProgrammingError: Failed processing format-parameters; Python ‘navigablestring’ cannot be converted to a MySQL type

原因是navigablestring 是 BeautifulSoup 中的一种类型 <class ‘bs4.element.NavigableString’>,不是 MySQL 所认识的类型,所以会导致存入失败
Beautiful Soup Documentation
Beautiful Soup的文档里告诉我们只要使用unicode()函数把navigablestring转换成MySQL能识别的字符串就行。
但是Python3中,unicode()函数已经和str()函数合并。所以我们只需要用str(函数)把Beautiful Soup解析出来的navigablestring,转换成MySQL能识别的字符串。

def getUList(html):
    ulist = {}
    soup = BeautifulSoup(html, 'html.parser')
    for tr in soup.tbody.children:
        if isinstance(tr,bs4.element.Tag):
            tds = tr('td')
            key = str(tds[0].string)
            value = (str(tds[1].string),str(tds[2].string),str(tds[3].string),str(tds[4].string))
            ulist.setdefault(key,value)
    return ulist
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值