雾狼的游戏屋

过拟合问题是由于你拟合的变量阶次太高，回归问题表现在俩点直接抖动的情况，分类问题表现在分割每一个局部特殊点。解决方法就是给代价函数加上正则化项用来惩罚系数矩阵过大，对常数项不惩罚的情况： 注意seita0也就是常数项还是原来的规则 以一元n次回归的过拟合情况举例：以下面代码为例子：

多元分类，实际上是n个一对多的二元分类，得到n个系数数组，预测的时候，分别代入这几个数组，当H预测函数概率最大的时候，就是那个分类。三个类别分类，就得到三个K系数组，得到三个预测方程，和三类分界线

非线性逻辑回归，主要通过给出的俩个变量，构建出一个新的矩阵，这个矩阵的其他元代表给出的这俩个变量的高次数。再根据上一节课的步骤做出来就行。主要需要注意最后得到的K系数矩阵对应的变量的次方。这个代码我也没写的太好，到更高次通用性不好，但由于写出一个通用性代码太费时间了，就直接拿二次函数和三次函数举例就行，如果你感兴趣，你可以根据规律，构建一个有规律的矩阵，并规律的给它乘上相应的回归得到的系数k，构建出我们最后的决策界限和假设函数

# 假设函数# 在逻辑回归中我们设定的假设函数是H=1/(1+e^(-KX))这个值在0-1之间，可以当作概率# 代价函数L=求和（(H(x)-y(x))^2），其中H是关于K矩阵中所有系数参数的假设函数#通过最似然估计将代价函数化简变成凸函数，上面图3# 代价函数就是你估算的值与实际值的差的大小，使得代价函数最小，这样就能不断逼近结果# 使得代价函数最小，就要使得初始点在斜率线上不断往低处移动，呈现出系数的不断微小移动# 固定公式格式，推导原理看吴恩达P11

在线性回归中实际就是求代价函数对系数变量求导，导数为0的时候，即代价函数最小的时候，系数矩阵的值。以多元一次函数为例 使用前提：1.X特征数量小于样本数量 2.X矩阵中不存在线性相关的量#正规方程,固定公式详细推导见吴恩达P23机器学习通过文字描述是难以教学学会的，每一节课我会推荐这个理论的网课，一定要看上面的理论视频！一定要看上面的理论视频！一定要看上面的理论视频！所以我只是通过代码实现，并通过注释形式来详细讲述每一步的原因，最后通过画图对比的新式来看结果比较。

一元n次线性回归是多元一次线性回归的特殊形式，可以将 多元一次的线性函数中第2个元认为x^2,第3个元认为是x^3.....依次类推，同理，可以写出多元多次的线性回归，当然，下面只写出可以机器学习中调节次方的一元n次线性回归函数的代码。# 代价函数L=求和（(H(x)-y(x))^2），其中H是关于K矩阵中所有系数参数的函数# 代价函数就是你估算的值与实际值的差的大小，使得代价函数最小，这样就能不断逼近结果# 使得代价函数最小，就要使得初始点在斜率线上不断往低处移动，呈现出系数的不断微小移动

# 假设函数，假设是个多元线性函数，每个参数的系数和常数不知道，是要回归算的变量#返回系数矩阵乘参数矩阵# 代价函数L=求和（(H(x)-y(x))^2），其中H是关于K矩阵中所有系数参数的函数# 代价函数就是你估算的值与实际值的差的大小，使得代价函数最小，这样就能不断逼近结果# 使得代价函数最小，就要使得初始点在斜率线上不断往低处移动，呈现出系数的不断微小移动#注意归一化所求的系数矩阵K是(X-U)/S的系数，真正系数，需要将x参数前面的系数合并# 固定公式格式，推导原理看吴恩达P11

机器学习，监督学习，线性回归；代价函数，迭代；python实现算法；吴恩达机器学习；

Numpy库常用API简介（1）创建数组#构造法#特殊值法#随机数法#定长分割法#重复构造法#网格构造法（2）操作数组#索引和切片#结构的改变#合并与拆分#复制#排序#查找#筛选 #数组I/O(3)创建矩阵对象#构造法#特殊值法(4)操作矩阵对象#矩阵变换#矩阵运算(5)常用函数#特殊值#函数的命名空间#数学函数#统计函数#一维线性插值#多项式拟合函数#自定义广播函数（6）掩码数组#创建掩码数组#访问数据#访问掩码#仅获取有效值#修改掩码#掩码数组操作

如果无法创建python文件说明你的盘没有管理员权限，建议将所有的安装项目文件都不要放在C盘，C盘跟你电脑运行速度息息相关，建议都放在D盘或者E盘，下面显示更改盘权限方法。如果没有上面情况，你创建好项目之后，在左上角文件设置里面，有个项目编译器，里面选择本地编译器并勾选全局编译器就行。右键属性-安全-users-高级-users-编辑-全选-应用。【2】编辑运行配置，路径是自己新建的py文件，点击应用。（4）将你安装好的python.exe文件地址放进去。第一行左边是解释器路径，右边是py文件路径。