机器学习日记
文章平均质量分 51
baibaidoudou
这个作者很懒,什么都没留下…
展开
-
Deep Reinforcement Learning
当你发现搜集有label的资料很困难的时候,正确答案也不知道的时候,可以考虑用RL原创 2021-08-27 16:30:52 · 118 阅读 · 0 评论 -
Explainable Machine Learning
1.定义 Explainable指的是有一个东西是黑箱,我们想办法赋予它解释的能力Interpretable指的是有一个东西本来就不是黑箱2.Goal of Explainable MLMake people comfortable ,给人们一个理由让人们更好接收3.Local ExplanationWhich component is criticalRemoving or modifying the componetslarge decisi...原创 2021-08-09 17:27:58 · 122 阅读 · 0 评论 -
Adversarial Attack
Adversarial Attack原创 2021-08-08 22:17:18 · 135 阅读 · 0 评论 -
Self-supervised Learning——BERT
1.Self-supervised LearningSupervised是要有label的资料Self-supervised是让资料一部分作为model,一部分作为label2.Masking Input两种方法,要么随机盖住某个token,要么将此token随机换成别的词。对其做Linear transform(矩阵)然后进行softmax得到一个分布我们知道盖住的词是什么,BERT不知道,所以看输出的词与原来词的最小交叉熵3.How to us...原创 2021-08-05 16:48:26 · 147 阅读 · 0 评论 -
GAN(3)
1.Conditional GAN给个条件xText-to-Image要让discriminator给高分,x与y即文字与影像要是相配的2.Learning from Unpaired Data使用Cycle GAN原创 2021-08-05 12:35:16 · 64 阅读 · 0 评论 -
GAN(2)
1.Our Ojective找到一个类似于loss function的东西Normal Dsitribution经过G(generator)后得到一个分布,data有一个分布,我们的目的是找一组Generator的参数让两个P更相似,写作。2.SolutionGAN(生成对抗网络)就是找到上文的方法。不需要知道,的分布,只需要从它们中sample(抽样)一些。这里就用到了Discriminator的给高分,给低分,使最大3.Wasserstein di...原创 2021-08-05 11:46:20 · 80 阅读 · 0 评论 -
GAN(生成式对抗网络)
1. Unconditional generation(无条件生成)generator的作用是产生一个高维向量2.Discriminator(辨别器)输出是个数值(scalar),数字越大越是想得到的东西3.Algorithm Initialize generator and discriminator:G & DStep1:Fix generator G, and update discriminator DDiscriminato...原创 2021-07-31 17:31:29 · 168 阅读 · 0 评论 -
Transformer
1.Seq2seq原创 2021-07-30 17:04:55 · 56 阅读 · 0 评论 -
Self-attention
1.运行机制每个output考虑所有input的vectorFind the relevant vectors in a sequence2.计算模组1.Dot - product(最常用方法)其中W矩阵通过计算得到2.Additive3.计算关联度()softmax =并不一定用softmax4.Muti-head Self-attention5.Positional Encoding自...原创 2021-07-29 16:30:31 · 60 阅读 · 0 评论 -
机器学习笔记-CNN
1.Image Classification一张图片可以分成三个维度(RGB)展开成100 * 100 * 3的向量,作为输入 Fully Connected Network1.1 Observation 1根据不同的特征,来判断一个物件因此不需要把整个图片作为输入!1.1.2Simplification 1filter滤波器的思想?Receptive field : 感受野(自己决定)1.1.3Simplification 1 - Typical...原创 2021-07-13 17:31:33 · 52 阅读 · 0 评论 -
Normalization
1. 什么是Feature Normalizationstandard deviation:标准差variances: 方差取出同一纬度i的所有x,计算它们的平均值记为根据公式求得放入这一维度中,这样他们的平均值为0,方差都是1,方便做gradient descent.2. Considering Deep Learning3.Batch Normalization- TestingWe do not always have batch at t...原创 2021-07-13 15:03:11 · 68 阅读 · 0 评论 -
Classification
1.Classification as Regression?Regression:Classification as regression class1 = class1, 2 = class2, 3 = class3希望输出的y与class编号越接近越好2.Soft-max 3.Loss of ClassificationMean Square Error(MSE) :...原创 2021-07-13 13:34:29 · 62 阅读 · 0 评论 -
Optimization
Reasons forfailure1.gradient is close to zero,卡在了critical point(驻点)判断critical point是不是saddle point,求出HSometimes,sometimes Saddle pointis the eigen value of H,is an eigen vector of H如果卡在了Saddle point,找出为负的时候,所对应的,只要顺着的方向去更新参数,就可以找到更低...原创 2021-07-12 16:52:12 · 161 阅读 · 0 评论 -
机器学习任务攻略
1. 检查loss on training data2.如果loss大,检查bias(是不是model太过简单) optimization issue:没有合适的方法(除了梯度下降法) 如果loss小,检查loss on testing data3.如果大,考虑overfitting(解决方法:1.增加训练集,2.添加模型限制) mismatch(training和testing data 有不一样的分...原创 2021-07-11 17:33:48 · 156 阅读 · 0 评论 -
第一节-机器学习基本概念
machine learning ≈ looking for functionDifferent types of functions:Regression(回归): The function outputs a scalarClassification(分类): Given options(classes),the function outputs the correct onestructured learning(产生结构,创造)How to find a function?原创 2021-07-10 20:27:53 · 187 阅读 · 0 评论 -
Deep learning
Fully Connect Feedforward Network 全连接前向传播网络cross entropy:交叉熵Backpropagation:反向传播Chain Rule:链式法则1.Forward passComputefor all parameters 2. Backward passComputefor all activation function(激活函数)inputs z假设,知道了现在问题是如何计算,...原创 2021-07-11 11:05:32 · 58 阅读 · 0 评论