【Python爬虫】动态网页抓取

最新推荐文章于 2024-07-30 15:54:01 发布

镰刀韭菜

最新推荐文章于 2024-07-30 15:54:01 发布

阅读量1.4k

点赞数

分类专栏：深度学习与机器学习文章标签：爬虫 Python Selenium 网络爬虫

本文链接：https://blog.csdn.net/ARPOSPF/article/details/94748795

版权

深度学习与机器学习专栏收录该内容

102 篇文章 58 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何处理使用AJAX加载的动态网页，通过Selenium模拟浏览器行为抓取动态内容。在抓取过程中遇到因内容存在于iframe中导致的NoSuchElementException问题，并提供了解决方案。此外，还探讨了Selenium的高级操作，包括控制CSS、图片和JavaScript的加载以提高爬取效率。

摘要由CSDN通过智能技术生成

动态网页抓取

如果使用AJAX加载的动态网页，怎么爬取里面动态加载的内容呢？有两种方法：

通过浏览器审查元素解析地址
通过Selenium模拟浏览器抓取

解析真实地址：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
'''
@File  : Dynamic01.py
@Author: Xinzhe.Pang
@Date  : 2019/7/5 15:32
@Desc  : 
'''
import requests
import json

def single_page_comment(link):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
    r = requests.get(link, headers=headers)
    # 获取 json 的 string
    json_string = r.text
    json_string = json_string[json_string.find('{'):-2]
    json_data = json.loads(json_string

了解本专栏