python网络爬虫：谷歌开发者工具介绍

python网络爬虫

解析网络

使用chrome开发者工具查看网页

• chrome浏览器提供了一个非常便利的开发者工具，供广大web开发者使用，该工具提供包括查看网页元素、查看请求资源列表、调试JS等功能。该工具其中一个打开方式可通过右键单击chrome浏览器页面，在弹出菜单中单击图所示的“检查”选项打开。
• 也可以单击chrome浏览器右上角快捷菜单，如图所示，单击“更多工具”选项中的“开发者工具”选项，或使用快捷键组合Ctrl+Shift+I。
  chrome开发者工具目前包括了9个面板，界面如图所示。
  

1. chrome开发者工具各面板功能如下

面版	说明
元素面板（Elements）	该面板可查看渲染页面所需的HTML、CSS和DOM（Document Object Model）对象，并可实时编辑这些元素调试页面渲染效果
控制台面板（Console）	该面板记录各种警告与错误信息，并可作为shell在页面上与JavaScript交互
源代码面板（Sources)	该面板中可以设置断点调试JavaScript
网络面板（Network）	该面板可查看页面请求、下载的资源文件及优化网页加载性能。还可查看HTTP的请求头、响应内容等
性能面板（Performance）	原旧版chrome中的时间线面板（Timeline），该页面展示页面加载时所有事件花费时长的完整分析
内存面板（Memory）	原旧版chrome中的分析面板（Profiles），提供比性能面板更详细的分析，如可跟踪内存泄露等
应用面板（Application）	原旧版chrome中的资源面板（Profiles），该面板可检查加载的所有资源
应用面板（Application）	原旧版chrome中的资源面板（Profiles），该面板可检查加载的所有资源
安全面板（Security）	该面板可调试当前网页的安全和认证等问题并确保网站上已正确地实现HTTPS
安全面板（Security）	该面板可调试当前网页的安全和认证等问题并确保网站上已正确地实现HTTPS
审查面板（Audits）	该面板对当前网页的网络利用情况、网页性能方面进行诊断，并给出优化建议

2. 主要面版

• 元素面板(半结构化文本)

在爬虫开发中，元素面板主要用来查看页面元素所对应的位置，比如图片所在位置或文字链接所对应的位置。面板左侧可看到当前页面的结构，为树状结构，单击三角符号即可展开分支。

依次单击树状结构的三角符号，依次打开“body”“header”“div”“nav”标签，找到第一个“li”标签，如图所示。

• 网络面板
  切换至网络面板（Network），需先重新加载页面，之后单击“index.html”资源，将在中间显示该资源的头部信息、预览、响应信息、Cookies和花费时间详情，如图所示
  
  想要request库按照此浏览器的登陆行为去发送请求，可以对相应参数进行修改

  Headers标签展示该资源的HTTP头信息，主要包括Request URL、Request Method、Status Code、Remote Address等基本信息，以及详细的Response Headers、Request Headers

  Preview标签根据所选择的资源类型（JSON、图片、文本）显示相应的预览

  Response标签显示HTTP的响应信息，如图所示中选中的“index.html”文件为HTML文件，将展示HTML代码。

Cookies标签显示资源HTTP的请求和响应过程中的Cookies信息

Timing标签显示资源在整个请求过程中各部分花费的时间