- 博客(91)
- 收藏
- 关注
RSS订阅原创 深度学习，逻辑回归梯度下降向量化及一些编程基础
logic回归算法一个用在监督学习问题（SVM）中输出y标签是0还是1的二元分类问题。Python中的传播在进行矩阵加减乘除运算时，会自动进行矩阵的扩充。向量化可以消除代码中显式for循环的部分，让代码运行更加快速。只要输入x特征，即可得到计算结果y，中间的圆圈为中间层。logistic回归模型和sigmiod函数。左端为结构化数据，右端为非结构化数据。对logistic回归应用梯度下降法。左端是for循环，右端是向量化实现。行向量或者列向量的编程习惯。pyhon中的np函数。结构化与非结构化数据。...
2022-07-31 21:44:51
285
1
原创 照片OCD问题，滑动窗口分类器，上限分析
2.然后将框向某一个方向移动，将截取的图片内容进行分类和判断，移动的距离成为步长或者移动参数。1.定义一个图片截取框的固定形状，用这个框截取图中的一部分区域，判断里面是否有目标。白色区域就为识别到可能会出现文字的区域，并进行一些出来，出现太窄的区域考虑舍去。计算每个模块之后的正确率，从而在可以提升较大的模块多花时间和精力。2.字符分割与分类训练一个字符分类器自动将字符进行分割与分类。4.用更大的截取框重复123步骤，不断对图片进行检测。3.文字检测，文字分割和字符分类。1.读取照片中出现的文字。...
2022-07-24 23:43:30
255
原创 随机梯度下降，mini-batch梯度下降，在线学习机制，mapreduce
而梯度下降算法一般是运行一次就可通过查看cost函数来判断算法是否收敛，也可运用mini-batch函数对前一千个样本数据运用cost函数进行局部梯度下降来判断算法是否收敛。代价函数一般在收敛后会在某个值附近震荡，解决办法就是让a的值如上图所示，随着迭代次数的增加，a的值会不断减小，震荡幅度就越不明显。有点结合梯度下降和随机梯度下降算法的特点，当有合适的向量化参数时，运算速度将比随机梯度下降算法还快。mini-batch梯度下降算法采用随机梯度下降算法的思想，每次对b个数据进行更新。...
2022-07-24 21:22:27
362
原创 异常检测与（多元）高斯分布
多元高斯模型对于不同特征之间的关系表示效果较好，但由于存在协方差矩阵，所以能适应的样本n的值较小，且要保证样本数量大于特征数量（m>>n）1.当正样本y=0很少而负样本y=1很多时（如飞机引擎异常），可以选择异常检测算法。当正样本和负样本都很多时选择监督学习算法（如垃圾邮件分类），因为有足够数量的正样本来进行训练。2.当样本特征经常变化且数量较少时，选择异常检测算法。设定一个值，当计算出的概率Px大于该值时就算是正常地，小于时就是不正常的。原始高斯模型和多元高斯模型的区别和选择（x为特征）...
2022-07-24 00:40:35
744
原创 推荐系统，特征学习，协同过滤算法，均值归一化
协同过滤算法执行算法时，要观察大量的用户，观察其实际行为，得到更佳的评估值，从而更好地学习特征，这些学习好的特征又能被用来更好地进行预测和评估。推荐算法的实际应用，根据用户对电影的评分来预测某种类型用户为评分电影的分值。2.中间的式子代表了每部电影不同用户对它的评价代价函数。基于内容的推荐算法目标的特征都有，用这些特征描述量。如何从一部特定的电影中学习新特征的方法和公式。1.上面的式子代表了每位用户对所有电影的评价。1.根据已有的评分计算出每部电影的平均值U。特征学习能够自行学习所要使用的特征。...
2022-07-17 20:25:17
579
原创 数据降维、主成分分析方法（PCA）
把数据从二维降至一维三维到二维 找出最小投影误差的平面 线性回归和PCA之间的区别 1.左图是线性回归，距离是竖直的，用x来预测结果y2.右端是PCA，是垂直于线的，所有x样本都被平等对待 3.但线性回归和PCA都是为了寻找蓝线距离平方之和的最小值 PCA u代表维度坐标，z代表投影到维度上的点 矩阵U,S,DU矩阵和Z矩阵 Z矩阵是一个K行一列的的矩阵PCA过程1.进行均值归一化后，确保每一特征都是均值为0的任选特征缩放2.计算载体矩阵sigma （协方差矩阵） PCA所要做的就是将样本数据投影到一
2022-07-10 21:52:09
706
1
原创 聚类算法、无监督学习、K均值算法及其优化函数
聚类算法无监督学习：将无标签样本分为不同的两类或者多类，称为聚类算法K均值算法K均值算法是一个迭代算法，共两个步骤1.簇分配：遍历图中每个样本，根据每个样本点离那个聚类中心近，从而将该样本点分配给该聚类中心，一开始的聚类中心是随机生成的（也是最小化代价函数的过程）2.移动聚类中心 ：算出两簇点各自的均值位置，然后将聚类中心移动到各自的均值位置处。（也是选择u值最小化代价函数J）3.再次重复以上的两个步骤再次寻找新的聚类中心位置 C(i)代表当前的簇的序号，uk代表第k个聚类中心的位置 K均值的优化目标
2022-07-10 17:20:58
483
原创 SVM的代价函数、高斯核函数
SVM一种监督学习算法逻辑回归图像1.每一个（x,y）的代价函数都会对总的代价函数有影响 通过设置不同的兰达值，权衡要在多大程度上适应训练集（最小化A），去保证正则化参数足够小 在支持向量机的西塔转置x对应于不同结果的合理取值 让正则化参数C很大，这样西塔转置x就可以比较小了 支持向量机的距离（大间距分类器）当正则化参数C很大时，会得到紫红色的分界线。当正则化参数C不那么大时，会得到黑色的分界线（更合理）。支持向量机产生大间距的原因高斯核函数：有不同相似度度量的函数...
2022-07-10 11:06:28
291
原创 支持向量机（SVM）
SVM一种监督学习算法逻辑回归图像1.每一个（x,y）的代价函数都会对总的代价函数有影响 通过设置不同的兰达值，权衡要在多大程度上适应训练集（最小化A），去保证正则化参数足够小 在支持向量机的西塔转置x对应于不同结果的合理取值 让正则化参数C很大，这样西塔转置x就可以比较小了 支持向量机的距离（大间距分类器）当正则化参数C很大时，会得到紫红色的分界线。当正则化参数C不那么大时，会得到黑色的分界线（更合理）。支持向量机产生大间距的原因高斯核函数：有不同相似度度量的函数1.这三个点称为标记，其作用是为了方便定义
2022-07-03 22:08:52
355
原创 列属性:主键、自增长、唯一键、表关系一对一一对多多对多
列属性又称之为字段属性，在mysql中一共有6个属性：null，默认值，列描述，主键，唯一键和自动增长NULL属性：代表字段为空 如果对应的值为YES表示该字段可以为NULL注意：1、 在设计表的时候，尽量不要让数据为空2、 Mysql的记录长度为65535个字节，如果一个表中有字段允许为NULL，那么系统就会设计保留一个字节来存储NULL，最终有效存储长度为65534个字节。Default：默认值，当字段被设计的时候，如果允许默认条件下，用户不进行数据的插入，那么就可以使用事先准备好的数据来填充：通常
2022-06-29 20:23:25
461
原创 mysql数据类型，字符串类型，记录长度
迷你整形，系统采用一个字节来保存的整形：一个字节 = 8位，最大能表示的数值是0-255小整形，系统采用两个字节来保存的整形：能表示0-65535之间中整形，采用三个字节来保存数据。整形（标准整形），采用四个字节来保存数据。大整形，采用八个字节来保存数据。1、 创建数据表2、 插入合理数据 3、 插入错误数据（超出对应的数据范围） 4、 错误原因：并不是说tinyint没有这么大的空间，而是因为mysql默认的为整形增加负数。实际表示的区间为-128,127实际应用中，应该根据对应的数据的范围来
2022-06-27 17:48:04
1101
原创 mysql字符集设置
字符(Character)是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。在计算机中所看到的任何内容都是字符构成的。字符编码（character code）是计算机针对各种符号，在计算机中的一种二进制存储代号。字符集(Character set)是多个字符的集合，字符集种类较多，每个字符集包含的字符个数不同。常见字符集名称：ASCII字符集、GB2312字符集、BIG5字符集、 GB18030字符集、Unicode字符集等。计算机要准确的处理各种字符集文字，需要进行字符编码，以便计算机能
2022-06-23 22:32:50
1146
原创 mysql数据的插入、查询、删除和更新操作
本质含义：将数据以SQL的形式存储到指定的数据表（字段）里面基本语法：向表中指定字段插入数据Insert into 表名[(字段列表)] values(对应字段列表) 1、 注意：后面（values中）对应的值列表只需要与前面的字段列表相对应即可（不一定与表结构完全一致） 2、 注意：字段列表并不一定非要有所有的表中字段 基本语法：向表中所有字段插入数据Insert into 表名 values（对应表结构） //值列表必须与字段列表一致 查询表中全部数据：select * from 表名; //
2022-06-23 21:51:46
248
原创 php数据表操作
基本语法：create table 表名(字段名 字段类型 [字段属性], 字段名 字段类型 [字段属性],…) [表选项] 以上错误说明：表必须放到对应的数据库下：有两种方式可以将表挂入到指定的数据库下1、 在数据表名字前面加上数据库名字，用“.”连接即可：数据库.数据表2、在创建数据表之前先进入到某个具体的数据库即可：use 数据库名字; 表选项：与数据库选项类似Engine：存储引擎，mysql提供的具体存储数据的方式，默认有一个innodb（5.5以前默认是myisam）Charset：字符集，只
2022-06-23 19:00:47
302
原创 php文件包含
include报错级别较轻：即使出现了错误，后面的代码也可以执行require报错级别较高：如果出现了错误，那么后面的代码无法执行。
2022-06-21 14:39:16
47
原创 php数据类型
数据类型指的是存储的数据本身的类型，不是变量的类型，变量本身没有数据类型。 强制转换规则：在变量之前添加一个括号（），在里面写上相应的类型。但是NULL类型需要用到unset()结构
2022-06-20 17:33:54
54
原创 评价学习算法：欠拟合和过拟合，方差和偏差，学习曲线，不同神经网络架构优缺点
训练误差会随着多项式的次数增加而下降，交叉验证误差会随着多项式的次数的增加先下降后上升1.如果训练误差很大，交叉验证误差也很大且约等于训练误差，则说明这是欠拟合的情况2.如果训练误差较小，交叉验证误差很大且远远大于训练误差，则说明这是过度拟合的情况。1.算法正则化可以有效防止过拟合的问题，正则化就是在代价方差函数之后添加一项，惩罚西塔参数，让西塔参数不至于过大2.当正则化参数很大时，正则化项对参数西塔的惩罚很大，会导致欠拟合的情况发生。3.当正则化参数较小时，正则化项对参数西塔几乎没有惩罚，会导致过度拟合的
2022-06-19 19:04:57
736
1
原创 数据集分类以及误差估计方法
一般用随机百分之七十的数据当作训练集，随机百分之三十的数据当作测试集 使用线性回归和平方差标准时测试误差的定义考虑分类问题使用逻辑回归时 计算出其在测试集中的性能从而选择最好的参数模型为了寻找最好的参数模型，要把数据分为训练集（60%），交叉验证集（20%），测试集 （20%），然后用验证集来选择模型，选择交叉验证误差最小的模型来当参数模型，这样就可以用测试集来估计所选模型的泛化误差了 训练误差、交叉验证误差和测试误差...
2022-06-16 17:57:57
554
原创 php标记、注释、变量的定义和输出
行注释：//加内容#加内容块注释：/*内容*/在php中定义变量不需要关键字，直接赋值即可，如$var1或者$var2=10。echo $var2；$var2=20;''或者''unset($var2);
2022-06-15 10:57:40
147
原创 参数从矩阵展开成向量、随机初始化
1.线性回归的参数是向量，神经网络中的参数是矩阵2.内容是取出矩阵中的参数并展开成向量得到梯度返回值上面命令为合并，合并为一个很长的向量，下面命令为取出，取出为矩阵西塔为矩阵，使用矩阵储存参数可以使前向传播和反向传播更加方便，更容易充分利用和向量化实现。以上为让参数在矩阵和向量这两种形式之间完成转换 代价函数的双侧差分近似等于单价函数在该点的导数值 DVec为用反向传播算法计算出的导数DVec，如果两者相近，则可以验证反向传播的实现是正确的再用反向传播算法训练样本时要关闭梯度检验，否则程序执行很很慢。当用
2022-06-13 00:29:43
245
原创 神经网络算法中代价函数、反向传播算法
(xi,Yi)：代表事件L：代表层数Sl:代表每层的个数左边是两类分类，右边是多类分类 1.加号之后那项是正则化的项，上面的是两类分类的线性回归公式，下面的是多类分类的项。算法的关键是找到参数西塔使得代价函数J（西塔）取得最小值，主要任务是计算偏导项 a(1)为第一层的激活值，假设为xg是一个sigmoid激活函数，可以计算隐藏层的激活值a0（2）是添加的偏置项 第一层没有误差项，误差项从最后一层往前计算，l层第j个单元的误差项，误差项也可以是向量反向传播算法和前向传播算法过程比较类似，只是方向不同
2022-06-12 22:01:41
199
原创 复杂非线性函数的神经网络算法
x1 XOR x2 表示当这两个值恰好其中一个等于1时这个式子成真为1x1 XNOR x2 表示当这两个值恰好其中一个等于1时这个式子成真的相反，为0，要都不成真 AND是逻辑与的意思+1为偏置单元，为x0逻辑或的参数西塔的取值 逻辑非的神经网络参数西塔取值 逻辑异或的神经网络算法，只有输入相同时才输出1，否则输出0。 用一个四维向量输出结果来完成图像识别功能 x代表图片，y代表输出的是0或者1，x和y维数相同...
2022-06-05 18:19:01
206
原创 神经网络算法
logistic回归函数：logistic函数的弊端：对于特征较多的函数，如果运用logistic函数，其平方项和立方项数量是过大，导致计算量会过大。第一层称为输入层，最后一层称为输出层，中间层或其他层称为隐藏层wai(j)代表第j层第i个神经元的激活项，激活项是指由一个具体神经元计算并输出的值西塔（j）为权重矩阵，控制从某一层到下一层的映射，如图中的箭头神经网络计算公式 神经网络的前向传播示意图 神经网络构架图...
2022-06-05 17:13:42
58
原创 正则化（regularization）
正则化思想：为了避免过度拟合，可以使高阶项系数变得非常小，具体做法是在利用梯度下降法求解参数时，如上图所示，为使快速收敛，可以对高阶项系数增加惩罚项，因为1000很大，那么参数西塔必须变得非常小。一般只对非常数项系数进行正则化当惩罚过大时，会使得参数西塔过小，那么特征化就不明显 ，那么拟合函数就类似于常数项，就像一条水平直线，无法体现特征，不能很好地拟合参数，具有较大偏差。...
2022-05-29 20:34:13
109
原创 多类别分类
当有多类别时，目标类为一类，其余类为一类，构建目标类的函数将x的值带入到不同的目标类函数中，最大的一类就是x所对应于的目标类的函数，概率值最高
2022-05-27 20:02:32
107
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人