学习爬虫基础7-动态的去获取-json数据

动态的获取豆瓣电影的json数据

1. 进入豆瓣电影 查看源码,源码中并没有我们需要的数据,通过浏览器的检查功能中的 network ,可以看到页面上的数据是通过前端发送ajax请求,动态的获取的.这样我们就不能直接在html页面中获取到想要的数据了.
2. 解决的办法: 直接发送请求去后台获取到返回的json数据
3. 地址栏中的请求路径:
4. 
5. 根据需求检索的电影
6. 
7. 检索的结果
8. 
9. 前段发送的ajax请求 和返回的数据
10. 
11. 在header 消息头中的一栏的 最下边是我们的检索方式 也就是我们发送请求需携带的参数
12. 
13. 基于以上的条件我们就可以采用代码去发送我们的请求
14. 代码演示:

# coding=utf-8

# https://movie.douban.com/j/new_search_subjects?
# sort=T&range=0,10&tags=%E5%89%A7%E6%83%85&start=0
# 分析：
# 请求需要带去的参数
# sort:T   排序
# range:0,10  评分范围
# tag