- 博客(14)
- 收藏
- 关注
RSS订阅原创 物联网通信技术
NB-IoT（Narrow Band Internet of Things）是一种基于蜂窝的窄带物联网技术，也是低功耗广域物联(LPWA)的最佳联接技术，承载着智慧家庭、智慧出行、智慧城市等智能世界的基础联接任务，广泛应用于如智能表计、智慧停车、智慧路灯、智慧农业、白色家电等多个方面，是智能时代下的基础联接技术之一。2020年NB-IoT全球连接数超1亿。根据预测，这一技术将在未来五年实现10亿级连接，并持续保持增长趋势，推动物联网设备实现爆发性成长。下图1是NB-IOT在不同版本迭代的需求演进。
2023-02-08 21:51:53
1183
原创 快速排序法原理及python实现代码
快速排序算法按照字面意思就是时间复杂度"很快'的排序算法，实际上，在所有排序中，快速排序是最快的排序算法。一般的算法复杂度为O(n^2)，但是快速排序法的时间复杂度为O(nlogn)，所以说快速排序法在排序算法中最快，而且快速排序法不需要额外的内存。快速排序的原理：引用图解算法中的图解，我们通过一个具体实例即对一个无序列表[6，1，2，7，9，3，4，5，10，8]中的数进行快速排序....
2019-01-01 10:57:43
910
1
原创 scrapy框架中实现登录人人网（二）（最新登录方式）
上篇博客说到登录人人网的时候，如果同一个账号出错超过三次，那么将会出现四个汉字的验证码，这里我们利用打码平台来破解验证码并传入（实际上，如果简单点可以通过肉眼观察出现的验证码，然后input输入结果。）如下图所示，通过上节的分析我们知道密码是通过加密传输的，但是我们从下图可以看到，如果出现验证码，那么icode字段是需要传递字符串的，也就是验证码，且传入的字符串并未加密，直接传送，而且...
2018-09-02 19:28:34
1001
原创 scrapy框架中实现登录人人网（一）（最新登录方式）
最近在弄scrapy框架的问题，感觉里面好玩的东西有很多，无意中在bilibili中看到关于在scrapy实现登录人人网的视频，人人网可能用户少，所以在现在的一些博客和教程里面看到最新的登录方法几乎没有，于是自己写了这篇博客。 进入正题，我们主要来说先下scrapy框架中的Request和Response对象，这两个对象贯穿scrapy框架。Request请求...
2018-09-02 16:23:36
2400
原创 打码平台破解验证码+session登陆豆瓣
上节博客（链接https://blog.csdn.net/MG1723054/article/details/81900983）谈到利用python实现登陆的三种方法，其中利用session登陆网站的方法具有比较不错的效果，不需要考虑cookie的时效性，但是有一个潜在的问题是有些文字验证码用一般的程序很难破解，主要是识别度不高，为了提高识别有多种方法，包含机器学习训练验证码，利用OpenCV中的...
2018-08-22 10:52:42
1831
原创 Python模拟登陆——以登陆某研究生官网为例
大家经常会用Python进行网络爬虫，但是有些网站是需要登陆才能看到内容的，那怎么用Python实现模拟登陆呢？主要有三种方式。方法一、直接使用已知的cookie访问，特点：简单，但是需要事先登陆网站，而且这个cookie具有时效性。（注意！！！）原理：cookie保存在发起请求的客户端中，服务器利用cookie来区分不同的客户端，因为http是一种无状态的连接，当服务器一下子收到多个请求...
2018-08-21 09:36:56
999
原创 利用selenium爬取携程酒店信息
上节博客我们利用requests请求库，正则表达式来提取信息（链接https://mp.csdn.net/postedit/81865681），提到过使用selenium也可以抓取酒店信息，在这里利用selenium模块优点是不需要数据处理过滤，只需要处理异常，（实际上也是一样的效果）但是对于使用selenium爬取效率太慢。具体的分析如上节分析的类似，只是定位元素是利用find_elemen...
2018-08-20 18:30:11
3397
4
原创 利用requests+分析ajax+mogodb爬取并存储携程酒店数据
以前就利用selenium爬取协程酒店信息，但是我们知道利用selenium抓取信息有个缺点就是效率不高，于是这几天重新打开网页，从基本的网页和源代码中寻找一些值得利用的数据。话不多说，我们直接说抓取携程酒店数据的思路，声明：本节只做爬虫交流技术所用，不得用于商业用途，如有侵犯他人权利，联系本作者删除首先我们打开携程所有南京酒店链接http://hotels.ctrip.com/hotel...
2018-08-20 11:40:34
1166
原创 利用协程asyncio爬取搜狗美女图片（二）——实战
上节我们详细的介绍了asyncio库的应用（链接https://blog.csdn.net/MG1723054/article/details/81778460），本节我们将其应用到实战之中。主要还是以分析ajax爬取搜狗美女图片（链接https://blog.csdn.net/MG1723054/article/details/81735834）直接贴出代码，我们在代码里面详细说明每一行的代...
2018-08-18 09:51:22
1045
原创 利用协程asyncio爬取搜狗美女图片（一）——asyncio库的介绍和使用
上一节，我们通过分析ajax爬取搜狗美女图片，（链接https://blog.csdn.net/MG1723054/article/details/81735834）这样爬取的效率相对来说比较高，在文章的末尾我们使用进程池来提高效率，但是由于爬虫主要是密集型IO操作，利用进程对其提高时效率不高，（上节的代码中的time.sleep(1)若删除，两者的所耗时间几乎相同），对于密集型IO操作，我们可以...
2018-08-17 18:41:05
871
原创 分析ajax爬取搜狗美女图片
前面两篇博客我们分别利用requests请求库抓取页面（链接https://blog.csdn.net/MG1723054/article/details/81604116）和利用selenium模拟浏览器来获取页面数据（链接https://blog.csdn.net/MG1723054/article/details/81630769），这些获取信息的方法也有弊端，对于requests...
2018-08-16 10:32:47
2080
原创 利用selenium抓取英雄联盟壁纸
本博客主要来利用selenium这一利器来爬取LOL官网各个英雄皮肤的壁纸，注意是壁纸，不是图片！壁纸是图片，但图片不是壁纸。selenium是一个自动化测试工具，利用它可以驱动浏览器执行一些特定的操作，比如点击、下拉等操作，由于selenium是模拟人的行为，所以对一些JavaScript渲染的网页特别有效 ，而且不易被封号或者反爬限制，但是爬取效率慢。selenium安装以及基本方法的使用...
2018-08-13 16:34:53
724
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人