study06爬虫学习爬取豆瓣电影排行榜，和kfc位置信息作业练习

Hz丶淡泊时年

于 2021-12-07 21:21:37 发布

阅读量692

点赞数

分类专栏：每日学习文章标签：爬虫 python

本文链接：https://blog.csdn.net/qq_52037321/article/details/121779036

版权

本文记录了作者通过Python爬虫学习的过程，详细描述了在爬取豆瓣电影排行榜和KFC位置信息时遇到的问题及解决思路。作者提到对GET请求参数的理解加深，并在实践中发现POST请求参数的疑惑，同时提出了如何获取全部页面数据的疑问。

摘要由CSDN通过智能技术生成

简述一下今天大概干了啥，主要再看爬虫没看js明天学习一下js,然后有一些问题力扣今天是bfs，dfs搜索题还没写今天要补一下，说一下爬虫把就豆瓣的，这个案例我原先一直再错后面看评论，对参数的理解和get 请求更深一步把，感觉还行一步步分析下去就好了

# 经典案例 爬取 豆瓣电影数据
import  requests
import json
url  ='https://movie.douban.com/j/chart/top_list'
param  = {
    'type_name':'喜剧',
    'type':'24',
    'interval_id':'100:90',
    'action':'',
    'start':'0',
    'limit':'20',
}
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:94.0) ucko/20100101 Firefox/94.0'}
response = requests.get(url=url,params=param,headers=headers)
list_data = response.json()
fp = open('douban.json','w',encoding='utf-8')
json.dump(list_data,fp = fp,ensure_ascii=False)
print('over')
# 简单说一下这个案例 自己调试 懂了一些参数 和网址  ，总体来说还是算简单 前面几次都错了 &