python3 爬取网页内容解析并存入MySQL数据库

最新推荐文章于 2021-12-27 21:05:49 发布

Wu_Jianing

最新推荐文章于 2021-12-27 21:05:49 发布

阅读量1.5k

点赞数 4

分类专栏：爬虫 python mysql数据库文章标签： mysql python

本文链接：https://blog.csdn.net/Wu_Jianing/article/details/104197209

版权

本文介绍如何使用Python3结合BeautifulSoup库抓取网页内容，并利用pymysql将数据存入MySQL数据库。

摘要由CSDN通过智能技术生成

爬取网页内容解析并存入MySQL数据库

用到的第三方库：

BeautifulSoup：解析网页内容，建议安装方法：
```
 pip install beautifulsoup4
```
pymysql：操作数据库，建议安装方法：
```
 pip install pymysql
```

import re
from urllib.request import urlopen
from bs4 import BeautifulSoup
import pymysql.cursors

if __name__ == '__main__':
    url = 'https://baike.baidu.com/item/%E7%99%BE%E5%BA%A6/6699?fr=aladdin'
	
	# 爬取网页中所有的链接url
    response = urlo