网络爬虫(二)之动态网页爬取及使用selenium模块爬取

最新推荐文章于 2023-12-24 18:28:51 发布

qq_43059674

最新推荐文章于 2023-12-24 18:28:51 发布

阅读量684

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/qq_43059674/article/details/103340986

版权

本文介绍了使用Selenium库进行动态网页爬取的方法，包括如何利用Selenium爬取今日头条新闻评论并模拟点击事件，以及综合案例中爬取Airbnb房源信息的步骤。Selenium作为一个Web应用程序测试工具，可以在浏览器中模拟真实用户操作，尤其适用于处理JavaScript渲染问题。

摘要由CSDN通过智能技术生成

在这里插入图片描述

爬取Ajax数据案例（今日头条，某条新闻的评论信息保存成 txt 文档）

"""
使用requests模块爬取动态网页数据：
今日头条，某条新闻的评论信息
"""
import requests

# 这是爬取地址，返回ajax数据
url =  "https://www.toutiao.com/api/comment/list/?group_id=6749065854995939854&item_id=6749065854995939854&offset=0&count=15"

# 设置请求头，模拟浏览器去获取数据，所以要带这个请求头，但是一定要使用自己的 
headers = {
   
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400",
}

# 这是解决日志中有大量 warning 信息
requests.packages.urllib3.disable_warnings()

# 请求，获得响应
response = requests.get(url, headers=headers, verify=False)

if response.status_code == 200:
    # 这是将数据文件写到当前目录下
    with