【爬虫基础】第5讲 AJAX动态页面的数据获取

原创已于 2024-09-05 13:15:06 修改

· 375 阅读

1 ·

版权

文章标签：

#ajax #Python #爬虫

于 2024-03-27 16:55:06 首次发布

爬虫基础专栏收录该内容

22 篇文章

订阅专栏

本文讨论了在动态网站中，直接从地址栏获取数据的局限性，强调了使用开发者工具的networkxhr功能来抓取实际可用的数据。并提供了使用Python的urllib.request库通过设置User-Agent头获取特定URL数据的示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

'''

静态：访问地址栏里的数据就可以获取到想要的数据

动态：访问地址栏里的数据获取不到想要的数据

解决方案：抓包

打开浏览器的开发者工具-network-xhr,找到可以获取到数据的URL访问即可

'''

获取url地址

代码实现：

from urllib.request import Request,urlopen
from fake_useragent  import UserAgent

url ='https://www.hupu.com/home/v1/news?pageNo=2&pageSize=50'
headers ={
    'User-Agent':UserAgent().chrome
}
req = Request(url,headers=headers)
resp = urlopen(req)
print(resp.read().decode())

执行结果：

问题：requests抓取的页面信息和浏览器中看到的不一样。

原因：requests获取的都是原始的HTML文档，浏览器中的页面很多都是经过javascript数据处理后的结果，这些数据可能通过AJax加载的，也可能是通过其他特定算法计算得到的

解决：对于通过Ajax加载的，叫异步加载，这种可以在web开发上做到前后端分离，降低服务器直接渲染页面带来的压力，如果遇到requests无法获取有效数据，需要进一步分析网页后台向接口发送的Ajax请求，然后用requests来模拟Ajax请求，就可以成功获取了

from urllib.request import  Request,urlopen
from fake_useragent import  UserAgent
url="https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=0&limit=20"

for i in range(10000):
    headers ={
    "User-Agent":UserAgent().chrome
    }
    url = url.format(i*20)
    request = Request(url,headers=headers)
    response = urlopen(request)
    info = response.read().decode()
    print(info)
    if info is None or info=="":
        break