爬虫
谷曰十鑫
同济经管
展开
-
爬取B站视频弹幕生成词云
效果预览以B站UP主可乐三太火影1-720集解说视频2020-08-07弹幕爬取为例,生成词云代码# -*- coding: utf-8 -*-# @Time : 2020/8/8 22:11# @Author : 马拉小龙虾# @FileName: B站弹幕.py# @Software: PyCharm Community Edition# @Blog :https://blog.csdn.net/weixin_43636302import requestsimpor原创 2020-08-09 00:41:56 · 1093 阅读 · 0 评论 -
爬取汽车之家所有汽车参数配置
效果预览汽车之家参数配置的页面无法右键查看网页源代码,不太好爬取,网上相关教程方法比较复杂,这里采用了两步走的爬取方法。即先获取所有车型的网页,再分别解析,逐步拆解。代码实现第一步,导入相关库import bs4import requests as reqimport reimport jsonimport csv第二步,下载出所有车型的网页def mainMethod(): li = [chr(i) for i in range(ord("A"), ord("Z")原创 2020-07-07 19:56:16 · 5695 阅读 · 2 评论 -
爬虫爬取国内肯德基门店信息
预期效果爬取每个城市(300+城市)所有的肯德基门店信息,保存到excel中,效果如下:代码实现import requestsimport csvimport jsondef getData(page,key): url='http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword' headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x6原创 2020-07-07 14:37:49 · 2269 阅读 · 0 评论 -
可见即可爬?——爬虫批量爬取百度音乐
预期效果批量下载百度音乐里某个歌手的全部歌曲代码实现import requestsimport jsonimport pprintimport redef getMusic(song_id): #抓包在media里面找更快,复制音频代码在搜索框里面搜索歌曲信息找到song_linnk,才抓包成果。如果是post请求,可删除cookise从新抓包。 # url='ht...原创 2020-03-04 18:43:54 · 1059 阅读 · 0 评论 -
Python爬取、查询新冠肺炎地级市数据,matplotlib数据可视化
预期效果1.爬取截至最新时间,中国所有城市累计或者新增确诊、疑似等数据2.根据弹出的对话框选择想要查询的项目(如累计确诊、新增疑似)前N名城市,生成统计图。代码实现import jsonimport requestsimport pandas as pdimport matplotlib.pyplot as pltimport numpy as npimport csvu...原创 2020-02-13 00:50:59 · 4108 阅读 · 0 评论 -
爬虫爬取新冠肺炎统计数据,matplotlib数据可视化
每日新增疑似和湖北省内外确诊对比import jsonimport requestsimport pandas as pdimport matplotlib.pyplot as pltimport numpy as npurl="https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5"resp=requests.get(ur...原创 2020-02-12 18:43:56 · 4888 阅读 · 2 评论 -
爬取新冠肺炎疫情地图数据,pyecharts绘制地理分布图
效果预览爬取最新截止日期各个省累计确诊数据,并绘制地理分布图代码实现#!/usr/bin/env python# -*- coding: utf-8 -*-import jsonimport requests#装了anaconda的可以pip install pyecharts安装pyechartsfrom pyecharts.charts import Map,Geofr...原创 2020-02-11 21:45:55 · 4338 阅读 · 0 评论