机器学习学习笔记
Xiao_yanling
这个作者很懒,什么都没留下…
展开
-
机器学习(李宏毅)Lecture04 学习笔记(Anomaly Detection)
Anomaly Detection设计一个函数能判断xxx是否与训练集{x1,...,xTx^1,...,x^Tx1,...,xT}中的训练数据相似。是一个二元分类问题。应用1.欺诈检测(Fraud Detection)。2.网络系统入侵检测(Network Instrusion Detection)。3.癌细胞检测(Cancer Detection)。分类器信心分数(y值)做异常检测...原创 2019-04-21 20:10:29 · 353 阅读 · 2 评论 -
机器学习(李宏毅)lecture03 (classification)
分类Training data(x1,y^1),(x2,y^2),...,(xn,y^n)(x^1,\widehat{y}^1),(x^2,\widehat{y}^2),...,(x^n,\widehat{y}^n)(x1,y1),(x2,y2),...,(xn,yn)DetailsModel损失函数( Loss function)L(f)=∑nδ(f(xn)≠y^n)L(f...原创 2019-04-21 20:10:49 · 151 阅读 · 0 评论 -
机器学习(李宏毅)lecture02学习笔记(Gradient Descent)
Gradient Descent优化问题θ∗=argminθL(θ)\theta^*=argmin_{\theta}L(\theta)θ∗=argminθL(θ)L:L:L:Loss Functionθ:\theta:θ:参数θ0:\theta^0:θ0:随机设定θ0=[θ1,θ2,...,θn]T\theta^0=[\theta_1,\theta_2,...,\theta_n]^T...原创 2019-04-14 21:30:46 · 198 阅读 · 0 评论 -
《机器学习》西瓜书学习笔记(Chapter03)
线性模型1.基本形式f(x)=w1x1+w2x2+...+wdxdf(x)=w_1x_1+w_2x_2+...+w_dx_df(x)=w1x1+w2x2+...+wdxdf(x)=wTx+bf(x)=w^Tx+bf(x)=wTx+bw:w:w:weightb:b:b:bias线性模型具有可解释性:wiw_iwi的值越大,iii属性越重要。2.线性回归f(xi)=wxi...原创 2019-04-28 20:28:43 · 146 阅读 · 0 评论 -
Entrophy、Cross-Entrophy、 KL-Divergence
EntrophyX是一个离散型随机变量,取值集合为X\mathscr{X}X,X服从概率分布Pr(X=x)=p(x),x∈XPr(X=x)=p(x),x\in\mathscr{X}Pr(X=x)=p(x),x∈X,则当事件x=x0x=x_0x=x0时,它携带的信息量为:I(x0)=−log(p(x0))I(x_0)=-log(p(x_0))I(x0)=−log(p(x0))即事件x=x...原创 2019-04-28 20:29:38 · 274 阅读 · 0 评论 -
机器学习(李宏毅)lecture04( Introduction of DL)
Deep Learning原创 2019-04-28 20:30:21 · 105 阅读 · 0 评论 -
机器学习(李宏毅)lecture05 CNN
Convolutional Nueral NetworkCNN适合做图像处理的原因1.一个神经元不需要看整张图来判断某个模式的存在。2.同一个模式可能出现在图片的不同地方,不需要训练不同的模型,神经元可以用同一种参数。3.可以对图像做下采样*(subsampling:1、使得图像符合显示区域的大小;2、生成对应图像的缩略图。)*,能减少模型要用的参数。CNN架构卷积层可以来处理上述原...原创 2019-05-05 22:33:18 · 550 阅读 · 0 评论 -
Transformer:论文《Attention is all you need》+李宏毅课程
TransformerSeq2seq model with Self-attention在RNN中虽然用到了输入序列的全部信息,但是很难实现输入序列词的同时训练,在self-attention layer中,目标序列b1,b2,...,bib_1,b_2,...,b_ib1,b2,...,bi中每一个都是基于全部输入序列而得到的,并且它们都是同时训练的。Transformer结构:...原创 2019-07-02 18:16:09 · 598 阅读 · 0 评论 -
(gated)RNN和LSTM实践注意的问题
1.初始化:把前一个cell隐藏状态乘起来对循环矩阵很有用,使用正交化方法很好;初始化的值一般设的小比较好,权重随机的初始化在0左右,但设置遗忘门的bias时,如果把bias设置为一个大小合适的正数效果会更好。2.结合动态算法(Adam,AdaDelta)比基础SGD更好。3.垂直方向使用dropout。...原创 2019-07-02 18:16:31 · 290 阅读 · 0 评论