- 博客(107)
- 收藏
- 关注
RSS订阅原创 [机器学习]决策树&随机森林
决策树&随机森林决策树相关概念划分标准信息增益（ID3）信息增益率（C4.5）基尼系数（CART）过拟合处理随机森林决策树是贪心算法: 求局部最优解既能做分类,也能做回归(CART)ID3和C4.5只能做分类, CART算法是可以做分类,也可以做回归.相关概念树信息熵:衡量系统中随机事件得不确定性得度量.信息熵越小, 不确定性越小非线性有监督离散型分类模型无假设...
2020-02-10 23:03:06
527
原创 迭代器vs可迭代对象，推导式vs生成器
迭代器vs可迭代对象，生成式vs生成器,推导式迭代器vs可迭代对推导式（生成式） vs 生成器附录迭代器vs可迭代对迭代器(类)：凡是实现了__iter__,__next__的对象就是迭代器。可迭代对象：只实现了__iter__方法例子：手写迭代器，实现Range（）函数class Range:def __init__(self, start, stop=None, st...
2019-12-16 20:36:41
322
原创 【数据分析day08】人类动作识别，癌症预测，预测年收入是否大于50K美元
练习：人类动作识别，癌症预测，预测年收入是否大于50K美元人类动作识癌症预测预测年收入是否大于50K美元人类动作识导入数据X_train = np.load('./动作分析/x_train.npy')X_test = np.load('./动作分析/x_test.npy')y_train = np.load('./动作分析/y_train.npy')y_test = np.load...
2019-11-27 18:57:29
1419
原创 【数据分析day07】机器学习入门 & KNN（分类，回归）
机器学习入门 & KNN机器学习入门原理机器学习分类1. 有监督学习（知道结果）分类 （有限数据）回归 （无限数据）2. 无监督学习聚类3. 半监督学习（不用管）深度学习KNN 基础知识k-近邻算法原理适用数据范围：优缺点&改进KNN 用法之：分类例子一：电影分类例子二：性别分类例子三：（yuan）鸢尾花分类绘图机器学习入门原理定义：机器指的就是电脑。把“人工智能”问题...
2019-11-26 19:48:50
463
原创 【数据分析day06】matplotlib图片灰度的处理
图片灰度的处理最小值法最大值法平均值加权平均法图片的灰度化处理就是把彩色图片转化为黑白图片.操作第三维度（颜色维度）cmap=‘gray’ 灰度设置导包：import numpy as npimport pandas as pdimport matplotlib.pyplot as plt%matplotlib inline导入一张图jin = plt.imread('....
2019-11-25 18:48:09
407
原创 【数据分析day05】滤镜 & scipy处理图片（含三种降噪：高斯滤波，中值滤波，维纳滤波）
滤镜 & scipy处理图片（含三种降噪：高斯滤波，中值滤波，维纳滤波）滤镜scipy处理图片移动坐标：ndimage.shift旋转图片：rotate缩放图片：zoom切割图片：切片过滤 （降噪）添加噪点：降噪（三种）高斯滤波中值滤波维纳滤波滤镜导包：from PIL import Image, ImageFilter读取图片cat = Image.open('../data...
2019-11-23 15:28:58
1439
原创 【数据分析day05】ffmpeg操作
ffmpeg操作简介从视频中提取音频视频截取从视频中提取无声视频合并视频和音频扩展mp3数据mp4数据简介FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。流文件（可在线拉进度）ffmpeg需要下载,并解压将3个文件放至Python安装目录中的bin目录下,然后还要配置环境变量官网下载从视频中提取音频在终端下直接执行: “...
2019-11-23 12:39:19
296
原创 【数据分析day05】Scipy读/写.mat文件,wav,mp3
Scipy文件输入/输出,wav,mp3读写.mat 文件写入 .savemat()读取 .loadmat()wav读 wavfile.read(）拼接 np.vstack()写 wavfile.write(）MP3读： AudioSegment.from_mp3()转化为wav： wavfile.write（）裁剪（就是按毫秒切片）导出 export（）读取png文件命名为“moon”(...
2019-11-23 11:39:04
2054
原创 【数据分析day05】积分求圆周率
积分就是求曲线下的面积导包： from scipy import integrateintegrate 对函数(1 - x2)0.5进行积分X2 + Y2 = 1,半径是1pi×r**2,只要求得面积—>pif = lambda x: (1 - x **2) ** 0.5首先画一个圆x = np.linspace(-1, 1, 1000)y = (1 - x **...
2019-11-22 20:49:02
644
原创 【数据分析day05】快速傅里叶变换之“登月降噪”
先分享一篇文章，讲解傅里叶相关知识点https://www.cnblogs.com/h2zZhou/p/8405717.htmlscipy.fftpack模块用来计算快速傅里叶变换速度比传统傅里叶变换更快，是对之前算法的改进图片是二维数据注意使用fftpack的二维转变方法登月图片降噪import numpy as npimport pandas as pdfrom pand...
2019-11-22 20:41:52
722
1
原创 【数据分析day05】pandas中的绘图函数
pandas中的绘图函数线形图1. series线性图2. dataframe线性图柱状图Series柱状图DataFrame柱状图直方图只需要一维数据, 自动计算频数.散布图 (散点图)看两个一维数据组成的一个关系数据pandas中的绘图函数实际上是调用的matplotlibplot()pip install scipy线形图反映趋势1. series线性图s = Seri...
2019-11-22 17:58:58
608
原创 【数据分析day04】数据加载（读/写）
pandas提供了一些用于将表格型数据读取为DataFrame对象的函数，期中read_csv和read_table这两个使用最多导包：import pandas as pdfrom pandas import Series,DataFrameimport numpy as np读取1. 使用read_csv读取pd.read_csv(’./data/SMSSpamCollecti...
2019-11-21 20:58:31
224
原创 【数据分析day04】pandas数据处理三：数据聚合&“高级”数据聚合
pandas数据处理三：数据聚合&高级数据聚合数据聚合高级数据聚合万能函数 apply()数据聚合数据聚合是数据处理的最后一步，通常是要使每一个数组生成一个单一的数值。数据分类处理：分组：先把数据分为几组聚合 , 求分组组内的数据聚合合并：把不同组得到的结果合并起来数据分类处理的核心： groupby()函数例子：统计出color的总price， 再合并到原表种...
2019-11-21 20:35:36
454
原创 【数据分析day04】pandas数据处理二：异常值检测和过滤&抽样
pandas数据处理二：异常值检测和过滤&抽样1. 异常值检测和过滤思路：1. 确定异常的检测标准.2. 写成条件的形式.使用条件去过滤原始数据2. 抽样无放回：permutation()有放回：1. 异常值检测和过滤使用describe()函数查看每一列的描述性统计量ddd.describe()上面的统计不包含字符串那两列思路：1. 确定异常的检测标准.2. ...
2019-11-21 19:32:36
1628
原创 【数据分析day04】pandas数据处理一：删重&映射
pandas数据处理）1、删除重复行1） 检查2） 删重2. 映射1）replace()2) map()函数3) rename()函数1、删除重复行1） 检查使用 df.duplicated()df.duplicated()这里第二行跟第一行重复，所以第二行是True因为默认参数keep=“first”,从前往后判断，也可以改成“last”,从后往前判断df.duplicate...
2019-11-21 18:54:26
235
原创 【数据分析day03】pandas的拼接操作之合并merge（融合）
pandas的拼接操作之合并merge（融合）pandas的拼接分为两种：级联,合并merge三种情况一对一合并多对一合并多对多合并key的规范化onleft_on和right_onright_index内外左右合并 howpandas的拼接分为两种：级联,合并级联：pd.concat, pd.append合并：pd.mergemergemerge与concat的区别在于，mer...
2019-11-21 10:23:30
872
原创 【数据分析day03】pandas的拼接操作之级联：concat & append
pandas的拼接操作：级联&合并pandas的拼接分为两种：级联,合并pd.concat()级联1) 简单级联(匹配级联)2) 不匹配级联有3种连接方式：pd.append（）级联pandas的拼接分为两种：级联,合并级联：pd.concat, pd.append合并：pd.merge对比：级联（增加），聚合（减少）pd.concat()级联为方便讲解，我们首先定义一个生...
2019-11-21 00:12:38
752
原创 【数据分析day03】多层索引dataframe聚合操作
dataframe聚合操作注意注意需要指定axis【小技巧】和unstack()相反，聚合的时候，axis等于哪一个，哪一个就保留。# 默认是计算每一列.ddd.sum() # 默认axis=0，列方向，行聚合没了ddd.sum(axis=1) #行方向，保留行索引（列索引聚合没了）平均值 和 标准偏差最大值行方向，聚合列，保留level1...
2019-11-20 19:20:31
572
原创 【数据分析day02】作业：写小故事（使用Series和DataFrame操作）
作业要求：利用已学的series和dataframe的知识点，写一个小说。即兴小说-王者荣耀篇
2019-11-20 18:57:09
252
原创 【数据分析day03】pandas“层次化索引对象”的多层索引,切片,stack
pandas“层次化索引对象”的多层索引,切片,stackSeries创建多层索引DataFrame创建多层索引Series（多层索引对象）的索引和切片DataFrame（多层索引对象）的索引和切片元素的索引 （显式，隐式）小结：坑点索引的堆（stack）导入 (常规操作)import numpy as npimport pandas as pdimport matplotlib.pypl...
2019-11-20 18:48:41
1038
原创 【数据分析day01】19道numpy练习题（含4种排序）
19道numpy练习题（含4种排序）numpy练习4种排序(冒泡,选择,插入,快速)numpy练习4种排序(冒泡,选择,插入,快速)
2019-11-18 20:23:30
309
原创 【数据分析】安装虚拟环境,jupyter,三剑客
安装虚拟环境,jupyter,三剑客准备工作安装虚拟环境创建虚拟环境并安装jupyter安装数据分析三剑客准备工作在学习Python数据分析前，需要安装：虚拟环境jupyter数据分析三剑客: “numpy”， “pandas”, “matplotlib”安装虚拟环境在window终端（cmd）中pip install virtualenvpip install virtu...
2019-10-20 14:56:21
467
原创 【Scrapy原理&安装启动】
原理图创建项目创建工程创建爬虫注意：要先进入工程目录创建爬虫启动爬虫 scrapy crewl qiushi需要安装Scrapy依赖包" twisted "若安装不成功，操作如下：先去下载window支持包"xxx.whl"文件下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 搜...
2019-09-07 17:25:22
164
原创 【jupyter安装和启用】
进入你想要管理的目录，在路径下输入CMD启动终端执行：创建虚拟环境： virtualenv .jupyterenvcd 进入该虚拟环境".jupyterenv"目录下的“ Scripts”目录 ，终端执行“activate”文件（这是windows下进入虚拟环境的方法）cd返回两级到父目录（需要管理的目录）安装jupyter:pip install jupyt...
2019-09-05 15:22:13
356
1
原创 【爬虫中的常用正则】
爬虫中的常用正则一个正则例子search 对比 matchre.S 和 re.Ire.findallre.sub一个正则例子定义一个字符串，取其中的数字 “123”使用正则获取 123search 对比 matchsearch是在整个字符串中匹配，找到第一个后返回，没有匹配到则返回空从头开始匹配，若“头”不对则不继续找re.S 和 re.Ire.S 多行模式，可匹配换行...
2019-09-04 17:31:52
242
原创 【项目部署】Django项目跨域问题
Django项目跨域问题安装第三方包settings.py设置安装第三方包pip install django-cors-headerssettings.py设置注册App 'corsheaders',设置中间件 'corsheaders.middleware.CorsMiddleware', 'django.middleware.common.CommonMiddl...
2019-08-23 08:53:31
272
原创 【Django项目部署】更新部署注意事项
更新部署注意事项本地数据库数据导出：服务器导出一条数据修改了‘.py’文件后要重启uwsgi本地数据库数据导出：打开终端，cd到桌面（存文件的位置）输入以下内容： mysqldump -uroot -p密码 xxxdb(数据库字) > xxxdb.sql然后在桌面会生成一个.sql文件服务器导出一条数据进入虚拟环境数据迁移进入数据库选择数据库将...
2019-08-21 17:11:28
801
原创 阿里云项目部署注意事项
具体过程查看3个项目部署文件，只记录易出错步骤在服务器上创建虚拟环境mkvirtualenv xxxenvworkon xxxenv可导入依赖库将本地能运行的项目拖进服务器自定义目录，如“www”在该项目工程目录下添加2个配置文件uwsgi.ini文件中，在下面位置需要修改成你的项目文件夹名：在ngix.conf文件中，需要设置云服务器地址和静态文件路径在云服务器创建...
2019-08-19 20:34:26
464
原创 阿里云添加白名单
在使用finalshell时有可能会遇到断开服务器后无法访连接的情况这时候我们要在阿里云的服务器中添加白名单：头像-安全管控IP白名单添加你的IP
2019-08-16 21:08:32
6414
原创 【mysqlclient】Utunbu下无法安装mysqlclient处理办法
Utunbu下无法安装mysqlclient处理办法：先执行: apt install libmysqld-dev再执行： pip install mysqlclient
2019-08-16 20:59:35
599
原创 【nginx】nginx: [error] open() "/var/run/nginx.pid" failed (2: No such file or directory)
在使用nginx命名时报了一个错误：nginx: [error] open() “/var/run/nginx.pid” failed (2: No such file or directory)解决办法：#第一步：sudo nginx -c /etc/nginx/nginx.conf#第二步：nginx -s reload然后可以重启niginx服务器了...
2019-08-16 20:53:09
621
原创 【MySQL】Django3.7使用MySQL8.x注意事项（报错 2059）
安装mysqlclient先在终端输入“python” 查看版本再去对找对应的版本手动安装：https://www.lfd.uci.edu/~gohlke/pythonlibs/#mysqlclient下载后对应的版本执行安装：pip install mysqlclient-1.4.4-cp37-cp37m-win_amd64.whl报错 2059在PyCharm下用Djan...
2019-08-13 17:34:26
1109
原创 【Django】“DRF”序列化之ModelSerializer，ModelViewSet，Router
“DRF”之ModelSerializer，ModelViewSetDRFModelSerializerModelViewSet创建路由routerModelViewSet继承了增删改查GET请求获取“查询集”所以数据DRFDjango REST framework官网：https://www.django-rest-framework.org/国人翻译：https://q1mi.git...
2019-08-10 16:55:35
809
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人