爬虫整理1

一.Chrome的开发者工具

1.1界面介绍

1. 打开快捷键Fn+F12

2. Elements: 从浏览器的角度查看渲染的HTML、CSS、DOM对象

3. Network： 页面向服务器请求了哪些资源、资源大小以及加载资源的相关信息，HTTP的请求与返回内容。

   1. 点击name 可以出现【headers】
   2. 提取URL和最后的【user-agent】
   3. 如图所示：
   4. 

4. sources： 源代码面板 调试JAVAscript

5. console：控制台面板：显示各种警告与错误信息，可实现shell在页面上与javascript的交互

6. performance：使用可以记录和查看网址生命周期内发生各种事件来提高页面运行时的性能。

7. memory：同上还有更多信息，如跟踪内存泄漏

8. application：检查加载的所有资源

9. security：安全面板，处理证书问题

from lxml import etree