![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据分析
曾青铜
这个作者很懒,什么都没留下…
展开
-
[机器学习]决策树&随机森林
决策树&随机森林决策树相关概念划分标准信息增益(ID3)信息增益率(C4.5)基尼系数(CART)过拟合处理随机森林决策树是贪心算法: 求局部最优解既能做分类,也能做回归(CART)ID3和C4.5只能做分类, CART算法是可以做分类,也可以做回归.相关概念树信息熵:衡量系统中随机事件得不确定性得度量.信息熵越小, 不确定性越小非线性有监督离散型分类模型无假设...原创 2020-02-10 23:03:06 · 525 阅读 · 0 评论 -
【数据分析day08】人类动作识别,癌症预测,预测年收入是否大于50K美元
练习:人类动作识别,癌症预测,预测年收入是否大于50K美元人类动作识癌症预测预测年收入是否大于50K美元人类动作识导入数据X_train = np.load('./动作分析/x_train.npy')X_test = np.load('./动作分析/x_test.npy')y_train = np.load('./动作分析/y_train.npy')y_test = np.load...原创 2019-11-27 18:57:29 · 1413 阅读 · 0 评论 -
【数据分析day07】机器学习入门 & KNN(分类,回归)
机器学习入门 & KNN机器学习入门原理机器学习分类1. 有监督学习(知道结果)分类 (有限数据)回归 (无限数据)2. 无监督学习聚类3. 半监督学习(不用管)深度学习KNN 基础知识k-近邻算法原理适用数据范围:优缺点&改进KNN 用法之:分类例子一:电影分类例子二:性别分类例子三:(yuan)鸢尾花分类绘图机器学习入门原理定义:机器指的就是电脑。把“人工智能”问题...原创 2019-11-26 19:48:50 · 461 阅读 · 0 评论 -
【数据分析day07】城市与海洋距离(数据分析)待续
【数据分析day07】城市与海洋距离(数据分析)待续原创 2019-11-26 16:42:51 · 273 阅读 · 0 评论 -
【数据分析day07】matplotlib 3D图 & 玫瑰图
城市与海洋距离(数据分析)待续原创 2019-11-26 15:31:49 · 1089 阅读 · 0 评论 -
【数据分析day06】matplotlib 2D图
matplotlib 2D图(待续)原创 2019-11-26 15:30:09 · 291 阅读 · 0 评论 -
【数据分析day06】matplotlib入门(待续)
matplotlib入门(待续)原创 2019-11-26 15:28:54 · 141 阅读 · 0 评论 -
【数据分析day06】matplotlib图片灰度的处理
图片灰度的处理最小值法最大值法平均值加权平均法图片的灰度化处理就是把彩色图片转化为黑白图片.操作第三维度(颜色维度)cmap=‘gray’ 灰度设置导包:import numpy as npimport pandas as pdimport matplotlib.pyplot as plt%matplotlib inline导入一张图jin = plt.imread('....原创 2019-11-25 18:48:09 · 405 阅读 · 0 评论 -
【数据分析day04】美国2012年总统候选人政治献金数据分析
后半截:后半截:后半截:后半截:原创 2019-11-23 16:05:02 · 216 阅读 · 0 评论 -
【数据分析day05】滤镜 & scipy处理图片(含三种降噪:高斯滤波,中值滤波,维纳滤波)
滤镜 & scipy处理图片(含三种降噪:高斯滤波,中值滤波,维纳滤波)滤镜scipy处理图片移动坐标:ndimage.shift旋转图片:rotate缩放图片:zoom切割图片:切片过滤 (降噪)添加噪点:降噪(三种)高斯滤波中值滤波维纳滤波滤镜导包:from PIL import Image, ImageFilter读取图片cat = Image.open('../data...原创 2019-11-23 15:28:58 · 1433 阅读 · 0 评论 -
【数据分析day05】ffmpeg操作
ffmpeg操作简介从视频中提取音频视频截取从视频中提取无声视频合并视频和音频扩展mp3数据mp4数据简介FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。流文件(可在线拉进度)ffmpeg需要下载,并解压将3个文件放至Python安装目录中的bin目录下,然后还要配置环境变量官网下载从视频中提取音频在终端下直接执行: “...原创 2019-11-23 12:39:19 · 293 阅读 · 0 评论 -
【数据分析day05】Scipy读/写.mat文件,wav,mp3
Scipy文件输入/输出,wav,mp3读写.mat 文件写入 .savemat()读取 .loadmat()wav读 wavfile.read()拼接 np.vstack()写 wavfile.write()MP3读: AudioSegment.from_mp3()转化为wav: wavfile.write()裁剪(就是按毫秒切片)导出 export()读取png文件命名为“moon”(...原创 2019-11-23 11:39:04 · 2048 阅读 · 0 评论 -
【数据分析day05】积分求圆周率
积分就是求曲线下的面积导包: from scipy import integrateintegrate 对函数(1 - x2)0.5进行积分X2 + Y2 = 1,半径是1pi×r**2,只要求得面积—>pif = lambda x: (1 - x **2) ** 0.5首先画一个圆x = np.linspace(-1, 1, 1000)y = (1 - x **...原创 2019-11-22 20:49:02 · 638 阅读 · 0 评论 -
【数据分析day05】快速傅里叶变换之“登月降噪”
先分享一篇文章,讲解傅里叶相关知识点https://www.cnblogs.com/h2zZhou/p/8405717.htmlscipy.fftpack模块用来计算快速傅里叶变换速度比传统傅里叶变换更快,是对之前算法的改进图片是二维数据注意使用fftpack的二维转变方法登月图片降噪import numpy as npimport pandas as pdfrom pand...原创 2019-11-22 20:41:52 · 716 阅读 · 1 评论 -
【数据分析day05】pandas中的绘图函数
pandas中的绘图函数线形图1. series线性图2. dataframe线性图柱状图Series柱状图DataFrame柱状图直方图只需要一维数据, 自动计算频数.散布图 (散点图)看两个一维数据组成的一个关系数据pandas中的绘图函数实际上是调用的matplotlibplot()pip install scipy线形图反映趋势1. series线性图s = Seri...原创 2019-11-22 17:58:58 · 607 阅读 · 0 评论 -
【数据分析day04】数据加载(读/写)
pandas提供了一些用于将表格型数据读取为DataFrame对象的函数,期中read_csv和read_table这两个使用最多导包:import pandas as pdfrom pandas import Series,DataFrameimport numpy as np读取1. 使用read_csv读取pd.read_csv(’./data/SMSSpamCollecti...原创 2019-11-21 20:58:31 · 222 阅读 · 0 评论 -
【数据分析day04】pandas数据处理三:数据聚合&“高级”数据聚合
pandas数据处理三:数据聚合&高级数据聚合数据聚合高级数据聚合万能函数 apply()数据聚合数据聚合是数据处理的最后一步,通常是要使每一个数组生成一个单一的数值。数据分类处理:分组:先把数据分为几组聚合 , 求分组组内的数据聚合合并:把不同组得到的结果合并起来数据分类处理的核心: groupby()函数例子:统计出color的总price, 再合并到原表种...原创 2019-11-21 20:35:36 · 452 阅读 · 0 评论 -
【数据分析day04】pandas数据处理二:异常值检测和过滤&抽样
pandas数据处理二:异常值检测和过滤&抽样1. 异常值检测和过滤思路:1. 确定异常的检测标准.2. 写成条件的形式.使用条件去过滤原始数据2. 抽样无放回:permutation()有放回:1. 异常值检测和过滤使用describe()函数查看每一列的描述性统计量ddd.describe()上面的统计不包含字符串那两列思路:1. 确定异常的检测标准.2. ...原创 2019-11-21 19:32:36 · 1618 阅读 · 0 评论 -
【数据分析day04】pandas数据处理一:删重&映射
pandas数据处理)1、删除重复行1) 检查2) 删重2. 映射1)replace()2) map()函数3) rename()函数1、删除重复行1) 检查使用 df.duplicated()df.duplicated()这里第二行跟第一行重复,所以第二行是True因为默认参数keep=“first”,从前往后判断,也可以改成“last”,从后往前判断df.duplicate...原创 2019-11-21 18:54:26 · 234 阅读 · 0 评论 -
【数据分析day03】美国各州人口数据分析
案例分析:美国各州人口数据分析原创 2019-11-21 14:08:25 · 849 阅读 · 1 评论 -
【数据分析day03】pandas的拼接操作之合并merge(融合)
pandas的拼接操作之合并merge(融合)pandas的拼接分为两种:级联,合并merge三种情况一对一合并多对一合并多对多合并key的规范化onleft_on和right_onright_index内外左右合并 howpandas的拼接分为两种:级联,合并级联:pd.concat, pd.append合并:pd.mergemergemerge与concat的区别在于,mer...原创 2019-11-21 10:23:30 · 859 阅读 · 0 评论 -
【数据分析day03】pandas的拼接操作之级联:concat & append
pandas的拼接操作:级联&合并pandas的拼接分为两种:级联,合并pd.concat()级联1) 简单级联(匹配级联)2) 不匹配级联有3种连接方式:pd.append()级联pandas的拼接分为两种:级联,合并级联:pd.concat, pd.append合并:pd.merge对比:级联(增加),聚合(减少)pd.concat()级联为方便讲解,我们首先定义一个生...原创 2019-11-21 00:12:38 · 750 阅读 · 0 评论 -
【数据分析day03】苹果股价数据分析
这是一个自1980年以来的苹果历史股票数据,对此数据做的数据分析练习原创 2019-11-20 19:37:57 · 1287 阅读 · 1 评论 -
【数据分析day03】多层索引dataframe聚合操作
dataframe聚合操作注意注意需要指定axis【小技巧】和unstack()相反,聚合的时候,axis等于哪一个,哪一个就保留。# 默认是计算每一列.ddd.sum() # 默认axis=0,列方向,行聚合没了ddd.sum(axis=1) #行方向,保留行索引(列索引聚合没了)平均值 和 标准偏差最大值行方向,聚合列,保留level1...原创 2019-11-20 19:20:31 · 569 阅读 · 0 评论 -
【数据分析day02】作业:写小故事(使用Series和DataFrame操作)
作业要求:利用已学的series和dataframe的知识点,写一个小说。即兴小说-王者荣耀篇原创 2019-11-20 18:57:09 · 251 阅读 · 0 评论 -
【数据分析day03】pandas“层次化索引对象”的多层索引,切片,stack
pandas“层次化索引对象”的多层索引,切片,stackSeries创建多层索引DataFrame创建多层索引Series(多层索引对象)的索引和切片DataFrame(多层索引对象)的索引和切片元素的索引 (显式,隐式)小结:坑点索引的堆(stack)导入 (常规操作)import numpy as npimport pandas as pdimport matplotlib.pypl...原创 2019-11-20 18:48:41 · 1032 阅读 · 0 评论 -
【数据分析day01】19道numpy练习题(含4种排序)
19道numpy练习题(含4种排序)numpy练习4种排序(冒泡,选择,插入,快速)numpy练习4种排序(冒泡,选择,插入,快速)原创 2019-11-18 20:23:30 · 308 阅读 · 0 评论 -
【数据分析】安装虚拟环境,jupyter,三剑客
安装虚拟环境,jupyter,三剑客准备工作安装虚拟环境创建虚拟环境并安装jupyter安装数据分析三剑客准备工作在学习Python数据分析前,需要安装:虚拟环境jupyter数据分析三剑客: “numpy”, “pandas”, “matplotlib”安装虚拟环境在window终端(cmd)中pip install virtualenvpip install virtu...原创 2019-10-20 14:56:21 · 466 阅读 · 0 评论