Python+BeautifulSoup抓取网页数据(网络爬虫)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sunmimmy/article/details/80339538

安装requests,如果失败,需要进到python安装目录的Scripts下运行pip命令

pip install requests

安装bs4

pip install bs4

以百度为例,抓取第一行导航栏数据

import requests
from bs4 import BeautifulSoup
url='https://www.baidu.com/'
content=requests.get(url)
content.encoding='UTF-8'
soup=BeautifulSoup(content.text, 'html.parser')
menus=soup.find('div', id='u1')
for idx, menu in enumerate(menus.find_all('a')):
    print(menu.string)

别的网站获取网页内容只需要requests.get(url),但百度比较特殊,输出的是乱码,所以需要转换编码方式,加上一句content.encoding='UTF-8'即可正常输出。

关于BeautifulSoup用法可参考https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页