模拟八爪鱼通用爬虫

    这是我近期做的一个东西，因某些原因分布式不能上传，只上传最初的简单demo版本。

    说一下我的想法，它点选会返回相同标签下的数据，所以要获取标签，并且要在本站显示用户想要爬取的页面。

    首先说在本站显示想要爬取的页面：我的想法是将整个页面的html爬取到本地服务器，然后由本站加载该html就能基本实现此功能

    然后是获取相同标签下的数据，因为是本站的html所以获取点击事件，和点击标签是比较容易的事，接下来就简单了。获得用户点击的标签列表生成xpath再去爬取就好了

     git   https://github.com/520zhangsiyuan/General-crawler