爬虫
文章平均质量分 79
爬虫相关的入门与学习
努力搬砖的giser
面对敌人的严刑逼供,我一个字也没说,而是一五一十地写了下来。
展开
-
Python-爬取历史地震数据并可视化
Python-爬取历史地震数据并可视化 主要是通过模拟浏览器请求,获取网页源代码。然后利用xpath解析数据,保存到Excel表格中,或者Mysql数据库中。爬虫地址http://www.ceic.ac.cn/speedsearch成果预览 全球历史地震数据实现代码# -*- coding: utf-8 -*-"""@File : request200606_中国地震台网.py@Autho原创 2020-06-07 22:07:24 · 6718 阅读 · 5 评论 -
Python-爬取知乎热搜榜单信息
Python-selenium-获取知乎热搜榜单相关信息对于selenium的介绍,在我之前的文章中就已经说过了,这里不再赘述,这里主要是通过正则表达式的方式来拿到节点中的信息,下面展示下代码和效果图。爬虫地址https://www.zhihu.com/billboard成果预览实现代码# -*- coding: utf-8 -*-"""@File : selenium200512_知乎热搜榜.py@Author : fungis@163.com@Time原创 2020-05-12 23:20:37 · 2147 阅读 · 11 评论 -
Python-selenium-爬取微博热搜信息
Python-selenium-爬取微博热搜信息最近闲来无事,开始学习Python-selenium爬虫(第一天),记录下爬取微博热搜信息的过程,我用的是Google Driver操作谷歌浏览器进行数据获取。selenium是一个支持各大浏览器的自动化测试工具,包括 Chrome,Safari,Firefox,ie等。再构造爬虫时,如果我们加入了User-Agent,那么变伪装成了浏览器,...原创 2020-03-06 23:29:28 · 1548 阅读 · 0 评论 -
Python-GeoPandas获取全国GeoJSON格式数据,展示并生成shapefile文件
Python获取全国GeoJSON格式数据,利用GeoPandas展示并生成shapefile文件前段时间从公众号麻辣gis的推文上看到「GIS数据」下载全国的GeoJSON格式数据(精确到县级)的文章,吸引了我的注意,点进去的确干货满满,可以下载到全国GeoJSON格式数据。我就在在想能不能不用gis桌面软件,把GeoJSON数据直接转换为shapefile。首先我想到了用js,以前也做过类似...原创 2020-02-26 18:44:50 · 8703 阅读 · 5 评论 -
Python获取丁香园疫情数据并解析json数据
Python爬取丁香园疫情数据并解析json数据在利用pyecharts V1.x版本,使用Map对象进行制图时,对数据格式的要求比较高,如果数据格式不正确可能达不到我们预期的效果。在我的前一篇文章中介绍了如何利用丁香园疫情数据制作地图,今天就为大家说下如何爬取、解析数据。地址解析丁香园Github-疫情数据下载地址https://github.com/BlankerL/DX...原创 2020-04-08 19:03:48 · 8493 阅读 · 6 评论 -
Python爬虫-爬取王者荣耀官网英雄壁纸和英雄皮肤壁纸
爬取王者荣耀官网英雄壁纸和英雄皮肤壁纸实现代码:import osimport requests#获取所有英雄列表json文件url = 'https://pvp.qq.com/web201605/js/herolist.json'herolist = requests.get(url) # 获取英雄列表json文件herolist_json = herolist.json() ...翻译 2019-12-16 16:28:27 · 719 阅读 · 0 评论