- 博客(7)
- 收藏
- 关注
RSS订阅转载 损失函数与正则项之间的关系和分析
看了知乎一篇博文当我们优化损失函数时，我们在优化什么收获良多，对机器学习分类和回归中损失函数和正则项也有了更深的认识。理解了这些，可以加深对逻辑回归，Softmax,线性回归等机器学习方法的理解，知道为什么要这样。现简单总结一下。 贝叶斯公式：$p(x|y)=\frac{p(y|x)p(x)}{p(y)}$ 如果设训练集为$D$，那么对于模型参数$w$来说，贝叶斯...
2018-03-16 22:33:00
295
转载 Softmax Regression及Python代码
Softmax Regression是逻辑回归在多分类问题上的推广，主要用于处理多分类问题，其中任意两个类别之间都是线性可分的。 假设有$k$个类别，每个类别的参数向量为${\theta}_j$，那么对于每个样本，其所属类别的概率为：\[P({{y}_{i}}|X,{{\theta }_{j}})=\frac{{{e}^{{{\theta }_{j}}X}}}{\sum\...
2018-03-04 22:55:00
166
转载 Liner Regression 线性回归及Python代码
线性回归是最典型的回归问题，其目标值与所有的特征之间存在线性关系。线性回归于逻辑回归类似，不同的是，逻辑回归在线性回归的基础上加了逻辑函数，从而将线性回归的值从实数域映射到了0-1，通过设定阀值，便实现了回归的0-1分类，即二分类。 线性回归函数$Y=XW$，其中Y是1*n维向量，X是n*m矩阵，W是m*1的系数矩阵。线性回归采用平方损失函数，至于为什么采用平方损失函数，是因为...
2018-03-04 09:12:00
229
转载 Logistics Regression 逻辑回归及Python代码
逻辑回归（Logistics Regression）是广义线性模型中的一种，其取值为0或1，服从伯努利分布。而伯努利家族的正则响应函数就是sigmoid函数，因此逻辑回归为什么选用sigmoid函数的理论原因。同时，sigmoid函数好处有： 1. 将现行分类器的响应值 <w , x> (内积) 映射到一个概率上； 2. 将实域上的数映射到P(y=1|w,x)...
2018-03-01 22:03:00
198
转载 Python画图
Python里经常需要绘图，客http://nbviewer.jupyter.org/github/lijin-THU/notes-python/blob/master/index.ipynb，此博文里有详细的Python学习笔记，针对绘图也有详细的说明。此文仅为自己学习实践的记录。1. plt.plot(x1,y1,format_str, x2,y2,format_str)可...
2018-02-10 11:28:00
92
转载 Pandas常用方法和使用技巧
在Python 3 环境下，根据实际使用Pandas的一些经验，简单总结了一下Pandas的使用要点。 Pandas 有三种结构，都可以指定索引，默认情况下，索引值从0。三种结构分别为：Serie:一维同类型结构DataFrame：二维结构，每列的类型相同Panel：三维结构1. Series初始化data = [1,2,3,4]a = Serie...
2018-02-08 22:06:00
59
转载 Numpy常用方法和使用技巧
在Python 3 环境下，根据切身使用Numpy经验，总结了一些小的常用的Numpy方法和技巧。1. np.array 可将序列对象（如列表和元包）转换为数组，可以生成一维或多维数组，生成多维数组时要对齐。a = [[1,2,3],[4,5,6]]b = np.array(a) 2. 数组与列表的相互转换a = np.ones((2,2))b = a.tol...
2018-02-03 22:09:00
128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人