机器学习日记
文章平均质量分 51
baibaidoudou
这个作者很懒,什么都没留下…
展开
-
Deep Reinforcement Learning
当你发现搜集有label的资料很困难的时候,正确答案也不知道的时候,可以考虑用RL原创 2021-08-27 16:30:52 · 139 阅读 · 0 评论 -
Explainable Machine Learning
1.定义 Explainable指的是有一个东西是黑箱,我们想办法赋予它解释的能力 Interpretable指的是有一个东西本来就不是黑箱 2.Goal of Explainable ML Make people comfortable ,给人们一个理由让人们更好接收 3.Local Explanation Which component is critical Removing or modifying the componets large decisi...原创 2021-08-09 17:27:58 · 142 阅读 · 0 评论 -
Adversarial Attack
Adversarial Attack原创 2021-08-08 22:17:18 · 159 阅读 · 0 评论 -
Self-supervised Learning——BERT
1.Self-supervised Learning Supervised是要有label的资料 Self-supervised是让资料一部分作为model,一部分作为label 2.Masking Input 两种方法,要么随机盖住某个token,要么将此token随机换成别的词。 对其做Linear transform(矩阵)然后进行softmax得到一个分布 我们知道盖住的词是什么,BERT不知道,所以看输出的词与原来词的最小交叉熵 3.How to us...原创 2021-08-05 16:48:26 · 169 阅读 · 0 评论 -
GAN(3)
1.Conditional GAN 给个条件x Text-to-Image 要让discriminator给高分,x与y即文字与影像要是相配的 2.Learning from Unpaired Data 使用Cycle GAN原创 2021-08-05 12:35:16 · 78 阅读 · 0 评论 -
GAN(2)
1.Our Ojective 找到一个类似于loss function的东西 Normal Dsitribution经过G(generator)后得到一个分布,data有一个分布,我们的目的是找一组Generator的参数让两个P更相似,写作。 2.Solution GAN(生成对抗网络)就是找到上文的方法。 不需要知道,的分布,只需要从它们中sample(抽样)一些。 这里就用到了Discriminator 的给高分,给低分,使最大 3.Wasserstein di...原创 2021-08-05 11:46:20 · 92 阅读 · 0 评论 -
GAN(生成式对抗网络)
1. Unconditional generation(无条件生成) generator的作用是产生一个高维向量 2.Discriminator(辨别器) 输出是个数值(scalar),数字越大越是想得到的东西 3.Algorithm Initialize generator and discriminator:G & D Step1:Fix generator G, and update discriminator D Discriminato...原创 2021-07-31 17:31:29 · 190 阅读 · 0 评论 -
Transformer
1.Seq2seq原创 2021-07-30 17:04:55 · 64 阅读 · 0 评论 -
Self-attention
1.运行机制 每个output考虑所有input的vector Find the relevant vectors in a sequence 2.计算模组 1.Dot - product(最常用方法) 其中W矩阵通过计算得到 2.Additive 3.计算关联度() softmax = 并不一定用softmax 4.Muti-head Self-attention 5.Positional Encoding 自...原创 2021-07-29 16:30:31 · 72 阅读 · 0 评论 -
机器学习笔记-CNN
1.Image Classification 一张图片可以分成三个维度(RGB) 展开成100 * 100 * 3的向量,作为输入 Fully Connected Network 1.1 Observation 1 根据不同的特征,来判断一个物件 因此不需要把整个图片作为输入! 1.1.2Simplification 1 filter滤波器的思想? Receptive field : 感受野(自己决定) 1.1.3Simplification 1 - Typical...原创 2021-07-13 17:31:33 · 61 阅读 · 0 评论 -
Normalization
1. 什么是Feature Normalization standard deviation:标准差 variances: 方差 取出同一纬度i的所有x,计算它们的平均值记为 根据公式求得放入这一维度中,这样他们的平均值为0,方差都是1,方便做gradient descent. 2. Considering Deep Learning 3.Batch Normalization- Testing We do not always have batch at t...原创 2021-07-13 15:03:11 · 80 阅读 · 0 评论 -
Classification
1.Classification as Regression? Regression: Classification as regression class 1 = class1, 2 = class2, 3 = class3 希望输出的y与class编号越接近越好 2.Soft-max 3.Loss of Classification Mean Square Error(MSE) :...原创 2021-07-13 13:34:29 · 75 阅读 · 0 评论 -
Optimization
Reasons forfailure 1.gradient is close to zero,卡在了critical point(驻点) 判断critical point是不是saddle point,求出H Sometimes,sometimes Saddle point is the eigen value of H,is an eigen vector of H 如果卡在了Saddle point,找出为负的时候,所对应的,只要顺着的方向去更新参数,就可以找到更低...原创 2021-07-12 16:52:12 · 186 阅读 · 0 评论 -
机器学习任务攻略
1. 检查loss on training data 2.如果loss大,检查bias(是不是model太过简单) optimization issue:没有合适的方法(除了梯度下降法) 如果loss小,检查loss on testing data 3.如果大,考虑overfitting(解决方法:1.增加训练集,2.添加模型限制) mismatch(training和testing data 有不一样的分...原创 2021-07-11 17:33:48 · 176 阅读 · 0 评论 -
第一节-机器学习基本概念
machine learning ≈ looking for function Different types of functions: Regression(回归): The function outputs a scalar Classification(分类): Given options(classes),the function outputs the correct one structured learning(产生结构,创造) How to find a function?原创 2021-07-10 20:27:53 · 211 阅读 · 0 评论 -
Deep learning
Fully Connect Feedforward Network 全连接前向传播网络 cross entropy:交叉熵 Backpropagation:反向传播 Chain Rule:链式法则 1.Forward pass Computefor all parameters 2. Backward pass Computefor all activation function(激活函数)inputs z 假设,知道了 现在问题是如何计算, ...原创 2021-07-11 11:05:32 · 69 阅读 · 0 评论