Sharon_march-CSDN博客

原创归一化

在机器学习中，会有许多数据需要处理，其中一个就是归一化处理。它对于奇异数据的处理的作用和我们为什么要用归一化在下面这一篇文章。https://blog.csdn.net/zenghaitao0128/article/details/78361038训练神经网络，其中一个加速训练的方法就是归一化输入。假设一个训练集有两个特征，输入特征为2维，归一化需要两个步骤：1、零均值均值用...

2020-04-07 20:35:03 704

原创正则化

正则化深度学习在训练的时候会出现一些误差，而这个误差的概率必须要在我们所能接受的范围内，不能欠拟合也不能过拟合，所以在误差较大时我们出现了偏差和方差的概念。通过训练误差和验证集误差判断算法偏差或方差是否偏高。高偏差：算法并没有在训练集中得到很好训练，如果训练数据的拟合度不高，就是数据欠拟合，就可以说这种算法偏差比较高高方差：训练集设置得非常好，而验...

2019-11-30 14:31:04 589

原创吴恩达深度学习第二周-二分分类，线性回归，向量化

二分分类判断这张图片是不是猫，input一张image，output一个数，1代表是猫，0代表不是猫。计算机中图片的表示是由像素组成的，而一个像素有red、green、blue三个参数表示。我们要将整张图片输入，即是将整张图片的数据作为一个x，那我们就将这张64*64的图片设为一个向量，那么这个向量的参数就是64*64*3=12288,我们就说这个向量的维度为n，n=12288。将x输入后...

2019-09-20 16:40:54 805

原创决策树Decision Tree+ID3+C4.5算法实战

决策树Decision Tree决策树的三种算法：举个栗子：熵entropy的概念：信息熵越大，不确定性越大。信息熵越小，不确定性越小。骰子计算结果：ID3算法（根据信息熵来决定）：选择根节点ID3算法：首先以结果buys_computer来计算总的信息熵D。然后计算年龄的信息熵，只看年龄的部分，年轻的5/14，然后查看年龄中的buys_computer，2/5是yes...

2019-09-17 19:26:59 2306

原创多元线性回归

多元线性回归单特征——一元线性回归多特征——多元线性回归多元线性回归的公式一元和多元的比较程序实例：数据import numpy as npfrom numpy import genfromtxtimport matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3D#读入数据data = g...

2019-09-07 10:26:33 791

原创梯度下降法and实战

梯度下降法学习率的大小主要是调剂优化步长和大小，所以学习率要设置一个合适的值。对代价函数求导，θ0和1求导，后面一堆作为总值更新θ的值。要一起算完之后一起更新，不然就错误了，后面的就是异步更新了。往左走往右走都上往上走，就会陷入局部极小值。可以用梯度下降法来求解线性回归。下面是上面的计算：线性回归的代价函数是凸函数。凸函数和非凸函数，非凸函数可能无法走到最小值。会发生局部最少值...

2019-09-07 10:25:47 633

原创机器学习代价函数

代价函数建立模型，一般把数据分为三个部分：训练集，验证集，测试集。回归：预测数据为连续型数值分类：预测数据为类别性数据，并且数据已知聚类：预测数据为类别性数据，并且数据未知一元线性回归回归分析（regression analysis）用来建立方程模拟两个或多个变量之间如何关联被预测出来的变量叫：因变量（dependent variable），输出（output）被用来进行预测的叫...

2019-09-07 09:14:27 420

原创 Python绘图

1、小甲鱼绘图转码用的pillow库from PIL import Imageimg = Image.open('mby.jpg')#L表示灰度模式out = img.convert('L')#查看一下图片的大小print(out.size)width,height=out.size#图片太大了，改一下图片的尺寸，将它变得小一点out = out.resize((int(wid...

2019-09-07 09:10:16 1383 1

原创线性逻辑回归logistic regression

逻辑回归垃圾邮件分类测试肿瘤是良性还是恶性预测某人的信用是否良好Sigmoid/Logistic Functionθ和x是矩阵类型的，θ是参数矩阵，x是数据矩阵g(x)的取值范围是0—1，就可以分为两类，大于0.5为1类，小于0.5为另一类。决策边界中间这条线是值为零的等高线。画一个圆，半径为1，这就是一个决策边界。很复杂的决策边界。逻辑回归的代价函数：h(X)...

2019-09-07 08:57:04 971

原创 BP神经网络

BP神经网络（Back Propagation Neural Network）反向传播神经网络BP算法：一个小例子sigmoid函数：这个是用的比较多的激活函数：这个函数可以不用考虑小于零的情况，而大于零时，倒数等于1，向前传播时信号不会衰减。他也不会只是一条直线，他是由直线组成的曲折边界。（凹凸）...

2019-08-08 17:54:32 259

原创 numpy

1、属性import numpy as nparray = np.array([[1,2,3], [4,5,6], [7,8,9]])print(array)print(array.ndim)#维度print(array.shape)#形状print(array.size)#大小print(array.dtyp...

2019-08-08 17:53:47 209

原创第二天matplotlib绘图

bar直方图import matplotlib.pyplot as pltimport numpy as npx = np.arange(10)y=2**x + 10#face柱子里面的颜色默认蓝色facecolor#柱子有边框默认黑色edgecolorplt.bar(x,y,facecolor='#9999ff',edgecolor='white')#zip将x，y结合在一起...

2019-08-08 17:53:14 158

原创 matplotlib的学习

1、matplotlib（2D绘图库）https://matplotlib.org/users/index.html官方讲解网站import matplotlib.pyplot as pltimport numpy as npx = np.linspace(0, 2, 100)plt.plot(x, x, label='linear')plt.plot(x, x**2, labe...

2019-08-08 17:52:50 183

原创机器学习笔记

1、香农熵https://www.cnblogs.com/muchen/p/6141978.html这是决策树的一些详细讲解，带代码。计算香农熵的代码# ==============================================# 输入：# dataSet: 数据集文件名(含路径)# 输出：# shannonEnt: 输入数据集的香农熵...

2019-08-08 17:52:12 157

原创学phython的小笔记

第一天首先通过一些视屏来进行Python，在学习了c，java之类的语言之后的确会比较快的上手，而且Python的确很灵活，很省事。但灵活所带来的就是自己代码的不稳定性，而且很多时候会以其他语言的思路来写代码，就还是会遇到一些小问题。首先，Python是用缩进来实现代码的分块的，所以缩进必须严格遵守。1. 输入输出现在所接触输入只有input(),python不用对数据进行类型的定义，它会...

2019-08-08 17:51:25 1035

原创文件下的所有文本内容转为一个csv文件代码

在数据测试时，需要把一个文件下的无数个txt一个一个的转为csv文件中一个单元格的元素，如果手动转所需工作量太大，所以选择用代码来解决。因为我做这个文件转换时文件名是下面这种类型：首先批量修改文件名我需要将这些文本文件的数据排序输入csv文件中，所以我先把_后面的数字去掉，但我发现它排序是用string来排序的，这样排序结果回事1，10，100，1000.....和我所要求的不同，所...

2019-08-05 16:19:12 889

原创支持向量机SVM

支持向量机SVM(Support Vector Machines)红色的线是最好的划分，但是为什么不是蓝色是红色呢？SVM就设置了一个算法，设置一个划分线，分别像两边平移，直至相切，两条线之间的距离就是边际margin，找到最大边际，就是效果最好的划分线。向量内积：两个向量之间的夹角小于90°，则向量内积大于0，若大于90°，则小于0。svm分类：...

2019-08-01 11:07:52 164

原创 PCA主成分分析

PCA(Principal Component Analysis)数据压缩2D-1D3D-2D数据可视化将上面的数据压缩为2D，但并不是从上面属性之中选择两个属性，这两个特征其实很难去描述。降维分析：多维数据分析：PCA不是线性回归PCA算法流程：方差and协方差：协方差矩阵：特征值和特征向量：通过数据集的协方...

2019-07-31 11:22:55 246

原创聚类算法

聚类算法聚类和分类有什么区别？分类数据样本是带有标签的，是知道它是哪一个类别的，是有监督的。但聚类没有标签，是无监督的。寻找优质用户在银行客户的数据集之中寻找20%的优质客户，将他们归为一个类别。社区发现将联系比较多的几个人聚成一个类别，就可以认为这几个人是一个社群。说明这几个人关系会比较好一点。异常点监控将银行后台数据归类为两个类别，比如正常...

2019-07-30 19:46:51 1005 2

原创贝叶斯算法

贝叶斯算法主要应用：新闻分类，评论分析，垃圾邮件分类等与文本相关的分类。古典学派和贝叶斯学派的争论贝叶斯定理举个栗子：朴素贝叶斯：多项式模型伯努利模型混合模型高斯模型大脑中的贝叶斯import numpy as npfrom sklearn import datasetsfrom sklearn.model_selection import t...

2019-07-27 16:52:55 151

原创集成学习 Ensemble Learing(？？？)

集成学习 Ensemble Learing之前学习的决策树之类的学习方法都是单一的，独立的。整体表现比较差的学习器，在一些样本上的表现是否有可能会超过“最好”的学习器。bagging举个栗子：从十个数之中有放回的抽取十个数字，组成不同的几个数据集。第二张图是集成学习的学习曲线。from sklearn import neighborsfrom sklearn import...

2019-07-24 16:10:24 124

原创决策树-线性二分类+非线性二分类

线性二分类import matplotlib.pyplot as pltimport numpy as npfrom sklearn.metrics import classification_reportfrom sklearn import tree#载入数据data = np.genfromtxt('.csv',delimiter=',')x_data = data[:,:-...

2019-07-24 10:42:49 1150

原创神经网络Neural Net背景介绍

神经网络Neural Net第一次热潮：第二次热潮：第三次热潮（06-至今）深度学习爆发三要素：大数据计算能力（因维达gpu）比cpu要快很多算法深度学习三巨头：Geoffrey HintonYann LeCunYosha BengioAndrew Wu(吴恩达)...

2019-07-16 10:35:07 305

原创非线性逻辑回归

梯度下降法数据：散点图：这个顺序是1，x1，x2，x1平方，x1*x2，x2平方np.c_和r_的作用print(ws)得到十个权值plt.scatter(xx,yy)plt.show()等高线图：import matplotlib.pyplot as pltimport numpy as npfrom sklearn.metrics import classi...

2019-07-16 10:06:14 696