用python爬虫获取i春秋标题

最新推荐文章于 2023-06-11 09:53:48 发布

$Xpanda

最新推荐文章于 2023-06-11 09:53:48 发布

阅读量103

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/qq_44768719/article/details/115636152

版权

python 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

这段代码使用Python的requests和BeautifulSoup库抓取了一个论坛的首页，并通过指定的User-Agent避免了访问限制。它解析HTML，找到所有带有特定类名（ui_colorG且target为blank）的链接，然后打印出这些链接的文本内容。这个脚本适用于从网页中提取信息，特别是论坛或网站的导航结构。

摘要由CSDN通过智能技术生成

代码

import requests
from bs4 import BeautifulSoup
 
def getTitle():`在这里插入代码片`
    url = 'https://bbs.ichunqiu.com/portal.php'
    headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36',

            }
    #构造头不然无法访问
    html= requests.get(url,headers=headers)
    html=html.text
    #进行编码
    bs = BeautifulSoup(html,"lxml") 
    title = bs.find_all("a",class_="ui_colorG",target="blank")
    #查找特征

    for titles in title:
        print (titles.get_text())
    #获取标题里的内容
if __name__ == '__main__':
    getTitle()