python 爬虫笔记（2）

准本工作

https://movie.douban.com/top250(https表示加密网址)

分析页面

网址第一页

第二页前面路径没变多了？加一些参数

Url分析：页面包括250条电影数据，每页25条共10页每页的url不同之处是：最后的数值=（页数-1）*25 

 我们需要的数据都在网页的源代码中，假如我们需要找到每一个电影标题，那么我们怎样定位呢？

 借助Chrome开发者工具（F12）来分析网页

还有一种方式：点击Network，上面有对网站的文件发起请求的一个过程

 其中线条表示浏览器向服务器发起的请求，长度代表时间轴。可以点击stop停在自己想要看到的地方

 刚开始就是将网址向服务器发送，status 200表示发送成功并且正常返回一个文件，具体信息可以点进去看

 headers：服务器通过这里鉴定我们的身份

 

 重点掌握：

1、User_Agent:表明我们是一个什么样的浏览器，如果没有写可能不会返回消息

2、Cookie：如果要做一些登陆以后才能开到的内容的爬取，就必须学会怎样存储Cookie和读取Cookie（没有Cookie就代表没有登录）

 下面行代码表示当前文字所在的层级，html根标签，body除去头文件以后的核心内容等等，这些都代表整个网页的某些板块（帮助我们判断我们想要的文字或者链接在一个什么样的层级结构上，快速找到他）