python 爬取网页

最新推荐文章于 2024-03-22 15:29:52 发布

AI算法网奇

最新推荐文章于 2024-03-22 15:29:52 发布

阅读量2.3k

点赞数

分类专栏： python宝典

本文链接：https://blog.csdn.net/jacke121/article/details/89462976

版权

python宝典专栏收录该内容

1012 篇文章 369 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何使用pip命令安装Python爬虫库BeautifulSoup4，为网页抓取和解析提供便利。

摘要由CSDN通过智能技术生成

pip install Beautifulsoup4


from bs4 import BeautifulSoup
import requests
if __name__=='__main__':
    target='http://www.luoxia.com/daqindiguo/84575.htm'
    #kv = {'user-agent': 'Mozilla/5.0'}
    try:
       req=requests.get(url=target)
       html=req.text
       bf=BeautifulSoup(html,"lxml")
       texts=bf.find_all('div',id="nr1")

       aaa=texts[0].text.replace('\xa0','')
       bbb=aaa.replace("\n\n","")
       print(bbb)
    except Exception as e:
       print("爬取异常",e)