机器学习
文章平均质量分 86
孤鸿子_
just for fun/前ACMer/前MSRAer/ZJUer/编程爱好者/学生/
展开
-
MachineLearning note_Linear Regression
Linear Regression with Multiple Variables(线性回归)记号说明 > x(i)jx_j^{(i)} 第ithi^{th} 训练样例(trian example) 的第jj个特征 x(i)x^{(i)} 第ii个训练样例,即向量 [x(i)0 x(i)1 ,...,x(i)j,...,x(i)n][x_0^{(i)}\ \ x_1^{(i)}\原创 2016-12-23 18:26:26 · 451 阅读 · 0 评论 -
deeplearning Note : Practical aspects of Deep Learning
作者: Dylan_frank(滔滔)这是 吴恩达 coursera Deep Learning Specialization 的第二门课程《Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization》 的第一周笔记,主要讲在实现神经网络过程中所遇到的问题,和处理方法,具体来说是3点初原创 2017-08-17 01:18:44 · 3055 阅读 · 0 评论 -
pandas 数据处理
Pandaspandas is a Python library for data analysis. It offers a number of data exploration, cleaning and transformation operations that are critical in working with data in Python.pandas build upon nu原创 2017-07-18 19:01:57 · 3488 阅读 · 0 评论 -
ISLR线性模型选择与正则化
ISLR线性模型选择与正则化ISLR线性模型选择与正则化zouzhitao2017年7月13日这一章主要讲进行特征选择(feature selection)的方法:子集选择压缩估计降维法子集选择方法最优子集选择最优子集选择法是一种穷搜( exhaustive search)策略,显然会发生维数灾难算法:记不含预测变量的模型为 \(M_0\) .for k = 1:p拟合 \(\bin原创 2017-07-13 21:54:43 · 2285 阅读 · 0 评论 -
《ISLR》交叉验证与自助法
注意 本来是用r markdown写的所有代码放到Rstudio里面都可以运行,无奈csdn不支持这种东西理论所谓理论不过简单理解,并没有什么强力的证明验证集方法验证集方法,在Andrew的课里面涉及到过,就是将样本一部分作为训练集,一部分作为测试集,这种方法有两个缺点受训练集的影响波动性很大由于被训练的观测很少,统计方法表现不好留-交叉验证(LOOCV)这种方法用伪代码描述就是for i =原创 2017-07-12 19:51:13 · 1959 阅读 · 0 评论 -
R语言典型相关分析
参考资料《统计建模与R软件》典型相关的数学模型设 X=(X1,X2,…,Xp)T,Y=(Y1,Y2,…,Yq)TX=(X_1,X_2,\dots ,X_p)^T , Y=(Y_1,Y_2,\dots , Y_q)^T 为两条随机向量, 我们希望找到向量 a,ba,b 使得 U=aTX,V=aTY,ρ(U,V)达到最大U=a^TX,V=a^TY,\rho(U,V)达到最大,由于这样的向量有多组,我们加原创 2017-07-11 14:36:00 · 7917 阅读 · 0 评论 -
R语言主成分分析总结
简单总结R语言PCA相关函数 这里是数据集 year X1 X2 X3 1951 1 -2.7 -4.3 1952 -5.3 -5.9 -3.5 1953 -2 -3.4 -0.8 1954 -5.7 -4.7 -1.1 1955 -0.9 -3.8 -3.1 1956 -5.7 -5.3原创 2017-07-10 16:56:28 · 28270 阅读 · 6 评论 -
PAC与样本复杂度
这篇文章主要总结 PAC 学习框架以及样本复杂度相关的东西,大致来说就是:要保证以概率 1−δ1-\delta1−δ 使得 generalized error 小于 ϵ\epsilonϵ 需要多大的样本复杂度,以及时间复杂度才是好的。问题及约定符号约定两个 error 符号就是我们常说的 train error 与 true error接下来是定义我们要研究的问题简单的来...原创 2019-03-06 23:56:11 · 1944 阅读 · 1 评论 -
Adaboost & gradient boosting学习总结
纸上得来终觉浅,觉知此事要躬行。综上,我什莫都不懂.这仅仅是个人的学习防忘笔记Adaboost关于 Adaboost 的算法描述其实很简单,有趣的是的它的误差分析:algorithm其中KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲\epsilon_t &...原创 2019-03-05 00:49:39 · 1716 阅读 · 0 评论 -
牛顿法总结
这里总结一个利用二价导数来求最优解的方法-牛顿法:设: f(X)f(X)f(X) 是一个多维函数,由taylor 二阶展开,我们有,f(X)≈f(X0)+(X−X0)∇f(X0)+(X−X0)∇2f(X0)(X−X0)2f(X) \approx f(X_0)+(X-X_0)\nabla f(X_0) + \frac{(X-X_0)\nabla^2 f(X_0)(X-X_0)}{2}f(X)...原创 2019-01-20 23:02:20 · 410 阅读 · 0 评论 -
AI 玩2048
最近写了个AI 玩2048 的小游戏,简单记录一下过程项目地址 : https://github.com/DylanFrank/Learn/tree/master/CSMM101AI/project/2048-game核心代码是这一块儿 :playerAI_3.py其他代码都是系统给的核心逻辑最开始我是想 写一个alpha-beta剪枝来着,但是效果不好,后面我改了一下逻辑,变成期望最...原创 2018-11-16 23:53:34 · 2682 阅读 · 0 评论 -
ML_Note:bias VS variance
这次主要总结一下,如何诊断学习曲线,如何判断我们进行拟合数据的时候是处于高偏差(bias),还是处于刚方差 (variance).以及我们应该采取的行动.Deciding What to Try NextErrors in your predictions can be troubleshooted by: 1、Getting more training examples 2、Tryi原创 2017-01-07 16:29:39 · 455 阅读 · 0 评论 -
ML_note:NN_backpropagation
Abstract这篇笔记主要讲BP算法(backpropagation),即用这个算法来计算在上一节学到的神经网络中的参数.Notation在解决这个问题以前,为了方便描述,我们先定义一些符号.a) LL= total number of layers in the networkb) slsl = number of units (not counting bias unit) in layer原创 2016-12-30 21:17:34 · 471 阅读 · 0 评论 -
ML_Note:NeuralNetwork1_representation
问题引入当多分类问题的假设函数(hypothesis)为非线性(non-linear)的时候,他的训练代价是非常显著的,具体来说对于nn特征的产生rr次的代价为 (n+r−1)!r!(n−1)!\frac{(n+r-1)!}{r!(n-1)!} 代价是 O(nr)O(n^r),所以我们采取一种新的方法,就是这次要介绍的:神经网络(Neural Networks),简称NN.Model Represe原创 2016-12-27 20:28:24 · 446 阅读 · 0 评论 -
ML_note:Regularization
首先在我们拟合数据的时候经常会遇到这样的一种问题,有时候可能拟合的太过度了(overfitting),这里介绍一种方式来解决过度拟合的问题,andrew Ng的课程中提到这里主要有两种方式来解决这个问题.There are two main options to address the issue of overfitting:1) Reduce the number of features:a)原创 2016-12-26 13:45:40 · 545 阅读 · 0 评论 -
MachineLearning_note:Logistic Regression(Classification)
Logistic Regression(Classification)解决分类(classification)问题.Binary Classification对于输出值yy只能有两种状态 {0,1}\{0,1\},通常 00表示负类(negative class) ,而 11 表示 正类(positive class) .Hypothesis Function由于是二分类问题,hθh_\theta必原创 2016-12-25 22:03:46 · 379 阅读 · 0 评论 -
deeplearning Note:Optimization
作者:dylanFrank(滔滔)这是deeplearning.ai的第二周,这周讲的是优化,这周其实有很多东西并不是很懂,个人结合了《deeplearning》 这本书来自己理了一下,同时也本着迅速入门的想法就没有想那么多,现将其知识整理如下:mini-batch gradient descentmomentumRMSpropadamlearning rate decay本质上来说,原创 2017-08-27 00:49:00 · 2192 阅读 · 0 评论