- 博客(18)
- 收藏
- 关注
RSS订阅原创 Explainable Machine Learning
1.定义 Explainable指的是有一个东西是黑箱，我们想办法赋予它解释的能力Interpretable指的是有一个东西本来就不是黑箱2.Goal of Explainable MLMake people comfortable ，给人们一个理由让人们更好接收3.Local ExplanationWhich component is criticalRemoving or modifying the componetslarge decisi...
2021-08-09 17:27:58
125
原创 Self-supervised Learning——BERT
1.Self-supervised LearningSupervised是要有label的资料Self-supervised是让资料一部分作为model，一部分作为label2.Masking Input两种方法，要么随机盖住某个token，要么将此token随机换成别的词。对其做Linear transform（矩阵）然后进行softmax得到一个分布我们知道盖住的词是什么，BERT不知道，所以看输出的词与原来词的最小交叉熵3.How to us...
2021-08-05 16:48:26
153
原创 GAN(3)
1.Conditional GAN给个条件xText-to-Image要让discriminator给高分，x与y即文字与影像要是相配的2.Learning from Unpaired Data使用Cycle GAN
2021-08-05 12:35:16
66
原创 GAN（2）
1.Our Ojective找到一个类似于loss function的东西Normal Dsitribution经过G(generator)后得到一个分布，data有一个分布，我们的目的是找一组Generator的参数让两个P更相似，写作。2.SolutionGAN（生成对抗网络）就是找到上文的方法。不需要知道,的分布，只需要从它们中sample（抽样）一些。这里就用到了Discriminator的给高分，给低分，使最大3.Wasserstein di...
2021-08-05 11:46:20
82
原创 GAN（生成式对抗网络）
1. Unconditional generation（无条件生成）generator的作用是产生一个高维向量2.Discriminator（辨别器）输出是个数值（scalar），数字越大越是想得到的东西3.Algorithm Initialize generator and discriminator：G & DStep1：Fix generator G, and update discriminator DDiscriminato...
2021-07-31 17:31:29
171
原创 Self-attention
1.运行机制每个output考虑所有input的vectorFind the relevant vectors in a sequence2.计算模组1.Dot - product（最常用方法）其中W矩阵通过计算得到2.Additive3.计算关联度（）softmax =并不一定用softmax4.Muti-head Self-attention5.Positional Encoding自...
2021-07-29 16:30:31
62
原创 机器学习笔记-CNN
1.Image Classification一张图片可以分成三个维度（RGB)展开成100 * 100 * 3的向量，作为输入 Fully Connected Network1.1 Observation 1根据不同的特征，来判断一个物件因此不需要把整个图片作为输入！1.1.2Simplification 1filter滤波器的思想？Receptive field : 感受野(自己决定）1.1.3Simplification 1 - Typical...
2021-07-13 17:31:33
54
原创 Normalization
1. 什么是Feature Normalizationstandard deviation：标准差variances： 方差取出同一纬度i的所有x，计算它们的平均值记为根据公式求得放入这一维度中，这样他们的平均值为0，方差都是1，方便做gradient descent.2. Considering Deep Learning3.Batch Normalization- TestingWe do not always have batch at t...
2021-07-13 15:03:11
73
原创 Classification
1.Classification as Regression?Regression:Classification as regression class1 = class1， 2 = class2， 3 = class3希望输出的y与class编号越接近越好2.Soft-max 3.Loss of ClassificationMean Square Error(MSE) :...
2021-07-13 13:34:29
66
原创 Optimization
Reasons forfailure1.gradient is close to zero，卡在了critical point(驻点）判断critical point是不是saddle point，求出HSometimes,sometimes Saddle pointis the eigen value of H,is an eigen vector of H如果卡在了Saddle point，找出为负的时候，所对应的，只要顺着的方向去更新参数，就可以找到更低...
2021-07-12 16:52:12
164
原创 机器学习任务攻略
1. 检查loss on training data2.如果loss大，检查bias(是不是model太过简单) optimization issue：没有合适的方法（除了梯度下降法） 如果loss小，检查loss on testing data3.如果大，考虑overfitting（解决方法：1.增加训练集，2.添加模型限制） mismatch（training和testing data 有不一样的分...
2021-07-11 17:33:48
159
原创 Deep learning
Fully Connect Feedforward Network 全连接前向传播网络cross entropy：交叉熵Backpropagation：反向传播Chain Rule：链式法则1.Forward passComputefor all parameters 2. Backward passComputefor all activation function(激活函数)inputs z假设,知道了现在问题是如何计算,...
2021-07-11 11:05:32
61
原创 第一节-机器学习基本概念
machine learning ≈ looking for functionDifferent types of functions:Regression(回归): The function outputs a scalarClassification(分类): Given options(classes),the function outputs the correct onestructured learning(产生结构，创造）How to find a function?
2021-07-10 20:27:53
190
原创 （python学习日记）2.列表
2.1 列表是什么bicycle=['trek','cannondale','readline','specialized']print(bicycle)2.2 访问列表元素bicycle=['trek','cannondale','readline','specialized']print(bicycle[0])bicycle=['trek','cannondale','readline','specialized']print(bicycle[1])bicycle=['trek
2021-06-30 14:20:14
64
原创 （python学习日记）1.变量
message="Hellow World"print(message)message="David"print(message)变量的命名与使用#字母，数字，下划线message="xxxxxx"1_message="xxxx"(x)_messge="xxxx"0="xxxxx"(x)#打x的都是不能这样命名的
2021-06-29 22:53:49
45
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人