- 博客(11)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 真实数据的噪声平滑处理（离散型卷积）
来自真实世界的传感数据通常是不平滑不干净的，包含一些我们不想显示的噪声https://blog.csdn.net/bitcarmanlee/article/details/54729807 参考文章https://blog.csdn.net/shu15121856/article/details/76285479将数据处理的更加平滑import numpy as npimport mat...
2018-12-23 15:06:29
7983
原创 清理异常值（MAD：绝对中位差）
清理异常数据：中位数绝对偏差（MAD）：用来描述单变量样本在定量数据中可变的一种标准在统计学中，绝对中位差是刻画一元数据样本变化的一个鲁棒度量。由公式可以看出，其求解还算简单，给定一个数据样本集，首先求其中位数，然后求原始数据减去中位数的绝对值从而形成一个新的数据样本，再求新的数据样本的中位数即为绝对中位差。比如说有一个数据样本集X={2 3 8 7 9 6 4}，这时候数据的中位数是6，原...
2018-12-22 21:01:01
15903
原创 PIL学习
PIL中解决win7不显示图像将return改成如图所示参考文章：https://www.cnblogs.com/chimeiwangliang/p/7130434.html包含的内容：本篇包含：一、Image类的属性：1、Format 2、Mode 3、Size 4、Palette 5、Info二、类的函数：1、New 2、Open 3、Blend ...
2018-12-22 16:06:41
451
原创 redis非关系型数据库
redis教程：http://www.redis.net.cn/tutorial/3507.htmlfrom redis import StrictRedisredis=StrictRedis(host='localhost',port=6379,db=0)1.redis键操作a=redis.exists(‘test’) #判断一个键是否存在 返回truea=redis.delet...
2018-12-21 09:23:09
386
原创 爬虫（八）：restry用于如果操作失败则需要多次重试某些操作
https://blog.csdn.net/ricky110/article/details/77727397http://www.cnblogs.com/c-x-a/p/9774698.html （各个参数的含义）经常遇到一个场景，就是如果操作失败则需要多次重试某些操作，这种情况下，如果想优雅的实现功能，又不关心重试逻辑，则可以学习该模块import requestsfro...
2018-12-05 11:17:45
431
原创 爬虫（七）：Requests小技巧以及定位浏览器中的js位置
1.requests.utils.dict_from_cookiejjar 把cookie对象转为字典2.请求ssl证书验证response=requests.get(‘https://www.12306.cn/mormweb/’,verify=False)3.设置超时response=requests.get(url,timeout=10)4,配合状态码判断是否请求成功assert ...
2018-12-05 10:46:17
1967
原创 爬虫（六）：requests模拟登陆的三种方式（cookie，session）
cookie保存在浏览器中，很多浏览器限制一个站点最多保存20个cookiesession存在服务器中。爬虫cookie和session1.带上cookie和session的好处能够请求到登陆后的页面2，弊端一套cookie和session往往对应一个用户，请求太快，请求次数太多，容易被识别为爬虫不需要cookie的时候尽量不去使用cookie但是有时为了获取登陆的页面，必须发送带...
2018-12-04 12:06:02
3445
原创 爬虫（五）：requests模块使用代理
使用方法：requests.get(‘http://www.baidu.com’,proxies=proxies)proxies的形式为字典proxies={“http”:“http://12,34,56,78:8080”或者：“https”:“https://12,34,56,78:8080”}为什么使用代理- 让服务器以为不是同一个客户端请求- 防止真实地址泄露例子...
2018-12-04 09:55:19
868
转载 爬虫基础（三）：Requsests模块发送post请求(附，翻译字典例子[request和requests的区别])
那些地方用到post请求登录注册（post比get更安全）需要传大文本内容的时候（post请求对数据长度没有要求）发送post请求的用法response=requests.post(‘http://wwww.baidu.com’,data=data,headers=headers)data的形式：字典import requestsimport timeimport random...
2018-12-02 23:45:05
1248
原创 爬虫基础(二)简单图片下载
https://www.jianshu.com/p/461d74641e80（Scrapy爬虫入门教程））爬虫：就是模拟客户端发送网络请求，接受请求响应，一种按照一定的规则，自动的抓取互联网信息的程序（可以用来网上投票，短信轰炸） Robots协议就是每个网站对于来到的爬虫所提出的要求。(并非强制要求遵守的协议，只是一种建议，但是如果不遵守有可能会承担法律责任。） 每个网站的Robots协...
2018-12-01 21:59:17
225
原创 爬虫（一）
str类型：unicode的呈现形式bytes：互联网上数据都是以二进制方式传输的http：超文本传输协议，默认80端口https：http+ssl（安全套接字层）默认端口号：443https比http更安全，但性能更低url的形式形式：scheme://host[:port#]/path/…/[?query-string][#anchor]scheme:协议（例如http，htt...
2018-12-01 10:32:30
184
实现阿里云部署flask程序nginx+uwsgi及出现的问题.zip
2019-08-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人