诚长ing-CSDN博客

原创 python爬取腾讯新闻统计数据——新型冠状病毒引发肺炎实况（selenium实现）

我和大家都一样都被关在家里处于癫疯的边缘，闲来无事就爬这个网站来关注我们祖国的病情怎么样了。起先网站一直在改版，对于这种定向爬虫来说，spider只能在这张网上行动觅食，如果这张网改变了那么我的“蜘蛛”必须得改变了，没办法这是个因果关系，因为这样所以必须这样了。一、分析网页明确了任务后，对网页进行简单分析。分析之后，首先本想直接requests请求网页源代码，re...

2020-02-13 23:44:54 3067 6

原创 python最简单的聚类分析——遥感图像分类——最小距离分类

模式识别实验报告实验目的目的：遥感图像分类。利用envi专业遥感图像处理软件对遥感图像进行最小距离分类***************envi4.7经典版链接：https://pan.baidu.com/s/1bUx7Sym9jyd7ZpSSiu2QVw 提取码：h0pq 基于python编程实现对遥感图像的最小距离分类实验原理最小距离分类法是分类器里面最基本的一种分类方法，它...

2019-12-30 21:09:58 13811 27

原创 Pycharm将项目部署到云服务器上每日定时启动——python爬取中国天气网和心知天气，利用邮箱每天定时推送给朋友（温馨天气预报）

一、爬取天气中国天气网http://www.weather.com.cn/weather1d/101180101.shtml（以郑州为例，当然其它城市也可以，只需将10118001更换为其它城市的代码）我想要图上的内容。心知天气https://www.seniverse.com/心知天气的API对于免费用户只能免费调用这些数据，一点儿都不贴心，所以我们只调用它的1和2的数据。...

2019-11-15 21:53:08 4054 1

原创 Python爬取（天地图·武汉\智慧武汉时空信息云平台）社区界线数据以及村子属性信息

单纯的获取天地图的一般数据是和我前面获取高德，百度地图的POI是一样的，在获得开发者权限后得到api接口，申请Keys值然后获得你想要的POI等数据。可以参考我的博客详解：https://blog.csdn.net/weixin_41447267/article/details/93371697今天我们来获取一些没有api接口，而是叠加到地图上的数据。一、分析网站网站地址：http...

2019-08-30 19:51:01 8753 19

原创 python——Dijkstra最短路径（以一组具体的数据为例，也可以输入一组数据。有向图）

一、Dijkstra基本原理：按照最短路径递增的次序，逐次搜索出从起点到网络中其余所有点的最短路径。给出从一条起点到终点的初始路径；对这条路径不断的优化，使其距离减小；当不能再被优化时，即为最短路径。基本思想：设置一个集合S存放已经找到最短路径的顶点，S的初始状态只包含源点v，对vi∈V-S，假设从源点v到vi的有向边为最短路径。以后每求得一条最短...

2019-07-07 14:26:46 2155 1

原创 python爬取链家网实例——scrapy框架爬取-链家网的租房信息

说明：本文适合scrapy框架的入门学习。一、认识scrapy框架开发python爬虫有很多种方式，从程序的复杂程度的角度来说，可以分为：爬虫项目和爬虫文件。scrapy更适合做爬虫项目，urllib库、requests库更适合写爬虫文件（做项目时，效率不是太好，并且稳定性也不是太好）。如图：这是scrapy框架的流程图。 Spiders(爬虫):它负责处理所有...

2019-06-29 14:14:29 4324 5

原创数据结构应用——链表的应用

一、实习题目与要求所选题目大数运算——计算n的阶乘（n>=20）功能要求程序需能实现一定范围内n值的阶乘计算，并且结果精确二、需求分析问题描述利用链表数据结构设计程序完成n阶乘的运算及输出累计运算的中间结果和最终的计算结果的数据类型要求是整型需设计合适的存储结构，要求每个元素或结点最多存储数据的3位数值基于设计的存储结构实现乘法操作，要求...

2019-06-28 20:48:32 5998

原创 python实现单链表的基本操作

一、单链表单向链表（单链表）是链表的一种，其特点是链表的链接方向是单向的，对链表的访问要通过顺序读取从头部开始。单链表是一种链式存取的数据结构，用一组地址任意的存储单元存放线性表中的数据元素。链表中的数据是以结点来表示的，每个结点的构成：元素(数据元素的映象) +指针(指示后继元素存储位置)，元素就是存储数据的存储单元，指针就是连接每个结点的地址数据。它的每个节点包含两个域，一...

2019-06-28 09:42:15 27062 7

原创 Python爬虫— 利用百度地图API批量获取城市POI点——POI实例

目的：利用Python爬虫—利用百度地图API批量获取城市的POI点经过一定阶段的学习，知道怎么在百度开放控制平台里获取有效地AK值，并且在网页里成功获取了POI的数据，根据得到的数据可以看出都是以json或xml格式的返回形式。（一）、创建百度开放应用（http://lbsyun.baidu.com/）①首先要注册百度账号，验证登陆；②打开控制台；③创建...

2019-06-22 22:24:15 18327 14

原创 Appium的环境配置 ——想要利用appium爬取APP的数据吗？想就先把appium搞好吧。

我们利用Appium移动端自动化测试工具爬取手机APP的数据的话，那么首先要安装appium然后配置环境。要使用Android设备做APP的爬取的话，我们就需要下载和配置Android SDK,和java环境配置JDK的配置。下面手把手的教你如何为appium配置环境。需要的东西都在网盘里：链接：https://pan.baidu.com/s/1...

2019-05-25 10:13:34 892 1

原创 Scrapy框架安装难点解决技巧

Scrapy是一个十分强大的爬虫框架，依赖的库比较多，至少需要依赖的库有Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。在不同的平台下，它所依赖的库有所不同，所以在安装的时候，最好确保把一些基本库都安装好。相关连接：官方网站:https://scrapy.org 官方文档：https://do...

2019-05-06 21:47:20 587 1

诚长ing的博客