大佬教你如何让爬虫可视化——爬下来的东西不分析一波岂不可惜

絮叨一下

爬虫爬来爬去,总是要服务于某些行业的,存在数据库中唯自己所用,做数据分析,搜索引擎,以及人工智能,训练模型. 前面已经分享了很多学习爬虫的笔记,比如urllib模块,requests模块,正则,BS4,selenium,牛逼的scrapy框架,以及一些反爬比如js加密,cookies反爬,非对称加密等,爬下来的数据就放在磁盘中是不是太过于浪费,自然需要分析一波,那就要生成可视化图表

 

 

 

这次就 爬取腾讯新闻下的疫情信息进行分析

网址: https://news.qq.com/zt2020/page/feiyan.htm#/area?pool=bj

Pyecharts 模块

官网: pyecharts官网

这个模块是基于百度开源的数据可视化Echarts模块 重构产生的

pyecharts 目前只有 3 个开发者在参与日常的开发和维护工作 不得不说 大佬就是大佬,开发一时爽,重构火葬场,虽然上手简单,绘制的图表会入巧克力一般丝滑,但却不稳定

如果大家在学习中遇到困难，想找一个python学习交流环境，可以加入我们的python圈，裙号947618024，可领取python学习资料，会节约很多时间，减少很多遇到的难题。

特性

简洁的 API 设计

囊括了 30+ 种常见图表

支持主流 Notebook 环境

可轻松集成至 Flask，Django 等主流 Web 框架

高度灵活的配置项，可轻松搭配出精美的图表

详细的文档和示例，帮助开发者更快的上手项目

多达 400+ 地图文件以及原生的百度地图，为地理数据可视化提供强有力的支持

这些都是官网给出的解释,用起来确实不错

版本问题

在2020-06-09已经更新迭代到version 1.8.1 版本 还有一个版本是0.5X版本,这个版本已经停止更新维护,而且有极其重要的的一点就是版本不兼容

安装

安装模块

pip3 install pyecharts

安装地图包

如果你需要绘制地图那还需要安装地图资源

全球国家地图:

pip3 install echarts-countries-pypkg

中国省级地图:

pip3 install echarts-china-provinces-pypkg

中国市级地图:

pip3 install echarts-china-cities-pypkg

下载官网示例

git clone https://github.com/pyecharts/pyecharts-gallery.git

爬取数据

直接打开控制台 network 然后刷新 查找数据便发现这样一条请求

view.inews.qq.com/g2/getOnsIn…

一看就能明白 callback 删掉 然后_= 时间戳 直接time.time 就可以解决

获取请求

import requests

import time

url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&callback=&_={0}'.format(time.time()*1000)

response =