- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 局部加权线性回归
1、方法论 局部加权线性回归（Local Weights Linear Regression）也是一种线性回归，不同的是，普通线性回归是全局线性回归，使用全部的样本计算回归系数。而局部加权线性回归，通过引入权值（核函数），在预测的时候，只使用与测试点相近的部分样本来计算回归系数。 值得一提，该方法与kNN思想类似，都是用最近的若干样本点来做。比如这样的曲线，用简单线性回归可以得到一条与...
2018-03-31 15:40:16
5234
3
原创 逻辑回归-Logistic Regression
1、前言首先值得注意的是，逻辑回归（对数几率回归）虽然叫回归，但其实是个分类器。前面学习了线性回归，是用线性方程逼近一个高维平面，如果对y增加函数，则表示用线性方程去逼近一个高维曲面（大概可以这么理解吧），比如：就是意图用线性方程逼近lny2、问题引入前面学习了线性回归，这里尝试用它来进行分类，引用周志华的《机器学习》，这部分写的很好：不过我还是有个疑问，这里是阶跃函数不可导，因此要用sigmoi...
2018-03-25 11:27:05
620
原创 线性回归
1、心路历程 近来学习了感知器、线性回归、逻辑回归等，发现他们大体相似，线性回归其实是做数据拟合，而感知器可以认为是将线性回归应用到分类去了，使用了符号函数来离散化结果，而逻辑回归本质上也是寻找一维矩阵，只是它对线性方程用了sigmod函数，这个方法的好处是可以得到样本属于某一类的概率。 线性回归一般使用最小二乘法来实现，常见有两种推导形式，一种是适用于简单二维平面的场景，y=wx+b，推导过...
2018-03-21 22:03:10
639
转载 L0、L1、L2范数及参数正则化
在深度学习中，监督类学习问题其实就是在规则化参数同时最小化误差。最小化误差目的是让模型拟合训练数据，而规则化参数的目的是防止模型过分拟合训练数据。参数太多，会导致模型复杂度上升，容易过拟合，也就是训练误差小，测试误差大。因此，我们需要保证模型足够简单，并在此基础上训练误差小，这样训练得到的参数才能保证测试误差也小，而模型简单就是通过规则函数来实现的。规则化项可以是模型参数向量的范数。如：L...
2018-03-20 22:43:33
702
原创 回归与分类
心路历程：近来学习机器学习基础，发现分不清分类和回归：单层感知器、线性回归、逻辑回归，因此简单研究了一下，得到最透彻的一段话是Andrew NG的课程中关于回归和分类的定义：Supervised learning problems are categorized into "regression" and "classification" problems. In a regression...
2018-03-19 23:05:29
234
原创 朴素贝叶斯
-----------------------2018年3月14日，虽然巨星陨落，但我们依然要保持前行 朴素贝叶斯（navie bayes），首先要理解贝叶斯： 目的是求w条件下，Ci发生的概率。其中Ci发生的概率、Ci发生的情况下，w发生的概率、w发生的概率都是可以根据已有的数据计算出来的。 另外要理解的就是朴素一词，朴素贝叶斯假设Ci之间互相独立，而w条件中各维度也是独立的...
2018-03-15 08:08:59
367
原创 k近邻分类（KNN）
近来学习了最近邻分类KNN（k Nearest Neighbors），写下心得，以为记录。 K近邻的原理很简单，对于数据集，可以分为训练集和测试集，KNN使用训练集全部数据作为分类计算的依据。输入一个待分类样本，计算该样本与训练集所有样本的距离，挑选出距离最小的k个样本，统计这k个样本的类别标签，出现最多的那个类别就被认为是待分类样本的类别。 《机器学习实战》中使用欧式距离作为...
2018-03-07 17:53:05
1940
原创 决策树（ID3算法）
决策树学习笔记1、决策树的概念 顾名思义，决策树是用来：根据已知的若干条件，来对事件作出判断。从根节点到叶子节点，是将不同特征不断划分的过程，最后将类别分出。 在理论学习前，先了解下面一个例子： 如下图所示，根据“不浮出水面是否可以生存”和“是否有脚蹼”两种特征来判断该海洋动物是否鱼类。图中有5个样本，样本中有两种是鱼类，三种不是鱼类。 可建立的特征向量如下：_data_s...
2018-03-05 22:05:20
35753
3
CP210x串口模块配置工具 CP210xSetIDs.rar
2021-03-31
摇摇棒制作全过程 程序 代码 原理图
2011-11-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人