机器学习
乌鱼阳光
以小见大,以小见深。
展开
-
【吴恩达机器学习】第8章 正则化
第8章 正则化过拟合问题代价函数过拟合问题解决过拟合的方法减少特征的个数Manually select which features to keep.Model selection algorithm正则化(不减少特征个数)Keep all the features, but reduce magnitude/values of parametersθj\theta_jθj...原创 2019-10-27 10:12:19 · 158 阅读 · 0 评论 -
【统计学习】 第5章 决策树
决策树与if-then规则决策树可以看成是if-then规则的集合。由决策束的根节点到叶节点的每一条路径构成一条规则,叶节点的作为规则的结论。下图为决策树用于分类问题的示意图(决策树也能用于回归问题)。特征选择问题如上图,4个条件对应4个特征,问题在于如何确定每个特征从根节点开始往下的依次顺序。选择的依据是使用信息增益,哪一个特征的信息增益最大则将该特征作为决策树上的一个节点,递归的使用该...原创 2019-10-13 22:54:59 · 330 阅读 · 0 评论 -
动态规划求字符串编辑距离
字符串编辑距离给定一个源字符串str1和目标字符串str2,能够对源串str1进行如下3种操作:在给定位置上1. 插入一个字符2. 替换任意字符3. 删除任意字符在对源字符串str1进行最小操作数的操作后使其等于目标字符串str2,则称该最小操作数为字符串编辑距离。动态规划分治方法求解问题的方式是通过组合子问题的解来求解原问题。但分治法可能会对子问题进行反复求解,动态规划与分治方法...原创 2019-10-07 21:30:17 · 371 阅读 · 0 评论 -
【吴恩达机器学习】第12章 机器学习系统设计
文章目录确定执行的优先级误差分析不对称性分类的误差评估精确度和找回率的权衡机器学习数据确定执行的优先级列出可能的解决方案,然后权衡选择。而不是一开始只是关注去收集更多的数据。例如对于垃圾邮件可以有以下一些方案:误差分析一般先花一天时间,简单粗暴的实现一个算法,画出学习曲线,然后逐步改进。Start with a simple algorithm that you can implem...原创 2019-09-30 08:32:53 · 216 阅读 · 0 评论 -
【吴恩达机器学习】第11章 应用机器学习的建议
应用机器学习的建议如何改进算法更多的训练数据不一定有效尝试更小的特征增加特征增加多项式特征尝试不同的正则化系数以上方法可能并不是一些很有效的方法如何评价和诊断一个机器学习系统,可以极大地提高改进算法的效率。评估假设如何防止过拟合与欠拟合的问题将数据分割为训练集与测试集,统计测试集的预测错误以此对假设进行评估模型选择和训练、验证、测试集如何确定模型中参数θ\thet...原创 2019-09-29 09:58:55 · 179 阅读 · 0 评论 -
【吴恩达机器学习】第10章 神经网络参数的反向传播算法
代价函数像大部分机器学习一样,从代价函数开始讲起。重点讲解,神经网络在分类问题中的应用。神经网络层数用LLL来表示神经网络结果的总层数。每层单元数用sls_lsl表示第lll层的单元数,但不包括偏置。Binary classification一个输出单元Multi-class classificationk分类,含有k个输出单元Cost functionLogistic...原创 2019-09-28 11:17:24 · 251 阅读 · 0 评论 -
【吴恩达机器学习】第9章 神经网络学习
第9章 神经网络学习非线性假设神经元与大脑模型展示 1模型展示 2非线性假设为什么需要学习这个算法非线性拟合多项式多项式拟合参数个数大于特征个数神经网络当特征个数过大时,多项式拟合参数过多二次项的个数大约是(n2)/2(n^2)/2(n2)/2,nnn为特征的个数。三次项个数大约是(n3)/6(n^3)/6(n3)/6神经元与大脑大脑能够通过同一套算法处理不同类型的信号(...原创 2019-09-21 17:32:41 · 219 阅读 · 0 评论 -
【统计学习方法】附录C 拉格朗日对偶性
原始优化问题等价拉格朗日的极大极小问题原始优化问题c_i(x)为不等式约束h_j(x)为等式约束广义拉格朗日函数其中αj,βj\alpha_j,\beta_jαj,βj称为拉格朗日乘子,αi≥0\alpha_i \ge 0αi≥0考虑以下关于x的函数:有:则θp(x)\theta_p(x)θp(x)的极小化问题就等价于原优化问题:minxθp(x)\min_x...原创 2019-09-18 15:31:34 · 218 阅读 · 0 评论 -
numpy中列向量退化为数组的问题
在numpy中array类型为一维时会退化为数组类型,可以换用matrix类型。或对其reshape为行向量或者列向量。参考:numpy 矩阵运算的陷阱 - kamidox的专栏 - CSDN博客...原创 2019-09-18 15:06:30 · 351 阅读 · 0 评论 -
【吴恩达机器学习】第七章Logistic回归-50简化代价函数与梯度下降
Logistic regression cost function用以上代价函数拟合参数的优点:这个式子是从统计学中的极大似然法的来的, 它是统计学中为不同模型快速寻找参数的方法.除此之外它还有个优点就是, 它是凸的....原创 2019-09-11 11:14:35 · 246 阅读 · 0 评论 -
【花书笔记】线性代数
矩阵乘积运算有许多有用的性质,从而使矩阵的数学分析更加方便矩阵乘积分配律矩阵乘积的结合率矩阵的逆用于解释求解线性方程组方程组的解(线性组合),沿着第i个方向走多远。生成子空间不能使用矩阵的逆求解线性方程组的情况如果矩阵A不是一个方阵或是一个奇异的方阵,该方程仍然可能有解,但不能使用矩阵逆去求解。...原创 2019-06-07 13:35:23 · 296 阅读 · 1 评论 -
使用panads处理数据
import pandas as pdimport numpy as np#使用pandas读入并简单处理csv数据column_names=['Sample code number', 'Clump Thickness', 'Uniformity of \Cell Size', 'Uniformity of Cell shape', 'Marginal Adhesion', 'Sing...原创 2018-11-06 14:23:35 · 647 阅读 · 0 评论 -
概率与统计
概率与统计概率概率研究的问题是已知一个模型和参数怎么去预测这个模型产生的结果特性。统计统计研究的问题则相反。统计是,有一堆数据,要利用这堆数据去预测模型和参数。...转载 2018-10-09 18:28:27 · 204 阅读 · 0 评论