第三天 豆瓣电影排行榜

交流群：687306936

老师QQ：2024964385

笔记可以添加老师QQ领取

# 第三天  豆瓣电影排行榜

https://movie.douban.com/typerank?type_name=%E5%8F%A4%E8%A3%85&type=30&interval_id=100:90&action=

1. 找到数据源地址
2. 发送请求
3. 获取数据
4. 解析数据
5. 存储数据

```python
# -*- coding: utf-8 -*-
'''
目标：爬取豆瓣电影排行榜
任务描述：电影名字，分类，评分
URL：https://movie.douban.com/typerank?type_name=%E5%8F%A4%E8%A3%85&type=30&interval_id=100:90&action=
1.找到数据源地址   
    https://movie.douban.com/j/chart/top_list?type=30&interval_id=100%3A90&action=&start=0&limit=20
    https://movie.douban.com/j/chart/top_list?type=30&interval_id=100%3A90&action=&start=40&limit=20
2.观察链接   
    发现start变化
    start相当于拉动滚动条（翻页）
3.构造URL发送请求
4.获取数据（text或json()）
5.解析数据--提取出需要的数据
6.存储数据
'''
from requests import get
#format  
class 豆瓣:
    headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36'
             }
    def __init__(self):
        res=self.发送请求()
        ls,ll=self.解析数据(res)
        self.存储数据(ls,ll)
        print('完成')
    def 发送请求(self):
        res=[]

        #UA-浏览器信息，用于模拟浏览器
        for i in range(0,61,20):
            url='https://movie.douban.com/j/chart/top_list?type=30&interval_id=100%3A90&action=&start={}&limit=20'.format(i)
            response=get(url=url,headers=self.headers).json() #json格式
            res.append(response) #在res这个列表的末尾添加数据
            #常见的反爬虫之一：UA
        return res
    def 解析数据(self,res):
        ls=[];ll=[]
        for i in res:
            for ix in i:
                ls.append('/'.join(ix['actors']))
                ll.append('/'.join(ix['types']))
        return ls,ll
    def 存储数据(self,ll,ls):
        with open('x.csv','w',encoding='utf-8-sig') as csvfile:
            csvfile.write('名字,类型\n')
            for i in range(len(ll)):
                csvfile.write('%s,%s\n'%(ll[i],ls[i]))

if __name__=='__main__':
    豆瓣() #实例化
'''
def w(x,y):
    pass
w(x=3,y=2)
'''
```