Python网络爬虫---chrome driver爬取微博（教你十分钟几十行代码利用虚拟浏览爬取财宝宝微博长文）...

0.学习路径示意图

     各位小伙伴大家好，这次博主分享的是利用虚拟浏览器ChromeDriver去爬取微博大V--财宝宝的微博长文。

---

1.ChromeDriver简介

    WebDriver是一个开源工具，用于在许多浏览器上自动测试webapps。它提供了导航到网页，用户输入，JavaScript执行等功能。ChromeDriver是一个独立的服务，它为 Chromium 实现 WebDriver 的 JsonWireProtocol 协议。简单来说，就是可以模仿人类鼠标点击、滑动与键盘输入的一个虚拟浏览器，用来解决我们日常爬虫中遇到的动态网页问题。

---

    何为动态网页？

   所谓的动态网页，是指跟静态网页相对的一种网页编程技术。静态网页，随着html代码的生成，页面的内容和显示效果就基本上不会发生变化了——除非你修改页面代码。而动态网页则不然，页面代码虽然没有变，但是显示的内容却是可以随着时间、环境或者数据库操作的结果而发生改变的。

---

    当今流行的商业爬虫框架scrapy适合去解决静态网页的爬取问题(下期会讲)，然而越来越多的网站采用了动态设计，微博也是如此࿰