Python抓取豆瓣电影

Python抓取豆瓣电影（入门级）

今天爬取的内容是抓取豆瓣电影中电影的简介，如下图，霸王别姬的演员，时间，类别，评分等内容
第一步：先查看网页元素，网络中XRH中没有内容，滑动滚轮就出现了第一个XRH，是一个get包，现在可以写一部分代码

import requests
import json

1.#指定url，问号后面的参数可以放到自定义的参数数组里

post_url='https://movie.douban.com/j/chart/top_list?'

2.#把网络中参数复制过来

d={
    'type':"13",
    'interval_id':"100:90",
    'action':"",
    'start':"0",#从哪开始
    'limit':"20"#每次取多少个
}

3.UA反伪装，让爬虫对应的请求身份伪装，把自己的 'User-Agent’复制过来

head={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0'
}

#4.因为此网址是get请求，所以要request.get

res=requests.get(post_url,d,headers=head)

5.#获取JSON串数据,JSON方法返回的是obj

j_son=res.json()
filename='豆瓣.json'
f=open(filename,'w',encoding='utf-8')

6.#ensure_asciil=False是指JSON串返回的不能用ASC码翻译过来

json.dump(j_son,f,ensure_ascii=False)

这样就获取到了电影简介

完整代码如下：

#通过豆瓣电影获取电影简介
#查看网络，找到发送的POST请求，并且响应的数据是JSON串
import requests
import json
#1.指定url
post_url='https://movie.douban.com/j/chart/top_list?'
#把网络中参数复制过来
d={
    'type':"13",
    'interval_id':"100:90",
    'action':"",
    'start':"0",#从哪开始
    'limit':"20"#每次取多少个
}
head={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0'
}
#因为此网址是get请求，所以要request.get
res=requests.get(post_url,d,headers=head)
#获取JSON串数据,JSON方法返回的是obj
j_son=res.json()
filename='豆瓣.json'
f=open(filename,'w',encoding='utf-8')
#ensure_asciil=False是指JSON串返回的不能用ASC码翻译过来
json.dump(j_son,f,ensure_ascii=False)