20200527-taptap评论爬取

最新推荐文章于 2025-02-03 23:58:28 发布

sinat_21748377

最新推荐文章于 2025-02-03 23:58:28 发布

阅读量1.4k

点赞数

分类专栏：爬虫文章标签： python

本文链接：https://blog.csdn.net/sinat_21748377/article/details/106381653

版权

爬虫专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一种使用Python进行网页抓取的方法，通过requests库获取Taptap网站上的应用评论数据，利用BeautifulSoup解析HTML，并使用fake_useragent库随机生成User-Agent以避免被网站封禁。代码详细展示了从请求网页到解析数据的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent


def url_get(url,head):
    res = requests.get(url, headers=head)
    print(res.status_code)
    html = res.text
    return html


def html_get(html):
    soup = BeautifulSoup(html, "html.parser")
    return soup


def content_get(soup):
    texts = soup.find_all(class_='item-text-body')
    for text in texts:
        print(text.text)
    # text = text.find(class_='item-text-body').text
    # print(text)


url = 'https://www.taptap.com/app/189346/review?order=default&page=1#review-list'
head = {"User-Agent": UserAgent().random}
html = url_get(url, head)
soup = html_get(html)
text = content_get(soup)