bs4的BeautifulSoup模块使用，

最新推荐文章于 2023-09-05 13:39:06 发布

weixin_44815030

最新推荐文章于 2023-09-05 13:39:06 发布

阅读量555

点赞数

分类专栏：爬虫代码

本文链接：https://blog.csdn.net/weixin_44815030/article/details/97967678

版权

本文介绍了如何使用Python的BeautifulSoup模块进行网页抓取和解析，包括地址获取方法和直接查找属性的技巧，帮助读者快速入门网络爬虫。

摘要由CSDN通过智能技术生成

引用

from bs4 import BeautifulSoup    
html=requests.get('https://www.cnblogs.com/cate/python/')
soup=BeautifulSoup(html.text,'lxml')

地址获取方法

items=soup.select('div[class="post_item_body"]')
for item in items:
	import requests
from bs4 import BeautifulSoup

headers={
    'User-Agent':'https://www.cnblogs.com/cate/python/',
    'accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
    'cache-control':'max-age=0'
}
html=requests.get('https://www.cnblogs.com/cate/python/')
soup=BeautifulSoup(html.text,'lxml')
items=soup.select('div[class="post_item_body"]')
for item in items:
    title=item.select('h3 a[class="titlelnk"]')[0].get_text()
    href = item.select('h3 a[class="titlelnk"]')[0]['href']
    author=item.select('div a[class="lightblue"]')[0].get_text()
    author_home= item.select('div a[class="lightblue"]')[0]['href']
    infos=item.select('p[class="post_item_summary"]')[0].get_text().strip('\n').strip(' ')
    datas=item.select('div[class="post_item_foot"]')[0].get_text()
    datas=datas.split(' ')
# ['\n随风奔跑的少年', '\r\n', '', '', '', '发布于', '2