爬虫入门学习笔记3

最新推荐文章于 2023-02-25 00:01:45 发布

huamanggg

最新推荐文章于 2023-02-25 00:01:45 发布

阅读量511

点赞数 1

分类专栏： python 笔记文章标签： python java 人工智能数据分析爬虫

本文链接：https://blog.csdn.net/m0_51078229/article/details/112211275

版权

本文记录了爬虫入门学习的第三篇笔记，主要探讨了如何使用get()和post()请求数据，以及针对动态页面的爬取策略。在尝试爬取豆瓣排名时，作者遇到动态页面的问题，通过分析XHR请求找到了有效信息。经过配置爬虫，成功抓取到以JSON格式返回的电影数据，并进行了数据处理和解码，以便进一步分析。

摘要由CSDN通过智能技术生成

爬虫入门学习笔记3

get()和post()的数据请求

在get()里面叫paramas
在post()里面叫data

尝试动态页面的爬取（豆瓣排名）

老规矩，先附上源代码：

import requests
import json
url='https://movie.douban.com/j/chart/top_list?'
header={
   "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"}
params = {
   
    'type':'5',
    'interval_id':'100:90',
    'action':'',
    'start': '0',
    'limit':'20'
}
response=requests.get(url=url,headers=header,params=params).content.decode()
res=json.loads(response)
for i in res:
    rating = i['rating'][