Python+BeautifulSoup抓取网页数据(网络爬虫)

安装requests,如果失败,需要进到python安装目录的Scripts下运行pip命令

pip install requests

安装bs4

pip install bs4

以百度为例,抓取第一行导航栏数据

import requests
from bs4 import BeautifulSoup
url='https://www.baidu.com/'
content=requests.get(url)
content.encoding='UTF-8'
soup=BeautifulSoup(content.text, 'html.parser')
menus=soup.find('div', id='u1')
for idx, menu in enumerate(menus.find_all('a')):
    print(menu.string)

别的网站获取网页内容只需要requests.get(url),但百度比较特殊,输出的是乱码,所以需要转换编码方式,加上一句content.encoding='UTF-8'即可正常输出。

关于BeautifulSoup用法可参考https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sunmimmy/article/details/80339538
个人分类: Python
想对作者说点什么? 我来说一句

leopdo网络爬虫源代码

2013年04月25日 47.3MB 下载

vba网抓常用方法

2018年02月07日 280KB 下载

netSpider.rar

2009年11月09日 67KB 下载

没有更多推荐了,返回首页

不良信息举报

Python+BeautifulSoup抓取网页数据(网络爬虫)

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭