![](https://img-blog.csdnimg.cn/20210428104711819.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
人工智能读书笔记
文章平均质量分 91
一个菜鸟的人工智能读书笔记,内容基本为转载,二次创作。
L_cherry_
不过是站在巨人的肩膀上。
越简单的工作越容易被替代。
清醒自律知进退,努力上进且温柔。
展开
-
机器学习之二十二(读书笔记)
三十五、 本文是对blibli上李宏毅机器学习2020的总结,如有侵权会立马删除。...原创 2021-10-22 21:04:59 · 1516 阅读 · 0 评论 -
机器学习之New Optimizers for Deep Learning 2(没听懂的读书笔记)
Graph Neural Networks十一、Graph Neural Networks Graph是什么样? Graph有结点和边。GNN用途 (1)Classification 假设现在有一大堆不同的分子,训练出一个Classifier可以判断分子会不会突变,dataset就是很多label好的data然后输入一个分类器没有看过的分子,让它判断这个分子会不会导致突变: (2)Generation (3)通过GNN推理剧中凶手 现有一部剧,如果只通过人物特性推定.原创 2021-10-22 15:30:24 · 108 阅读 · 0 评论 -
机器学习之New Optimizers for Deep Learning 1(没听懂的读书笔记)
New Optimizers for Deep Learning五个Optimizer:SGDSGD with momentum(SGDM)三个Adaptive learning rate的方法:AdagradRMSPropAdamSome Notations(符号)θt\theta_{t}θt:model parameters at time step t▽L(θt)\triangledown L(\theta_{t})▽L(θt) or gtg_{t}gt:gradi原创 2021-10-22 15:30:06 · 161 阅读 · 0 评论 -
机器学习之二十一(读书笔记)
三十四、Feature Extraction(用GAN做) 1、InfoGAN 我们本来希望改变input的某一维度就能让结果发生变化。例如,我们希望input的每一维度对应如下,但是实际上并不是那么简单: InfoGAN就是想要解决这个问题,概念如下:会在原来的GAN的基础上把它的input vector分成两部分 ccc和z’$$。在InfoGAN里面会train一个classifier,这个classifier的工作是看generator的output去预测现在generator的in原创 2021-10-21 11:21:44 · 259 阅读 · 0 评论 -
机器学习之二十(读书笔记)
fGAN三十二、fGAN:General Framework of GAN(General Framework:总体框架) 我们定某种objective function就是在量JS Divergence,fGAN就是在说怎么量其它的divergence。 1、f-divergence 假设有两个distribution,PPP、QQQ,p(x)p(x)p(x) and q(x)q(x)q(x) are the probability of sampling x。 PPP和QQQ的.原创 2021-10-17 16:49:42 · 258 阅读 · 0 评论 -
机器学习之十九(读书笔记)
Unsupervised Conditional Generation三十、Unsupervised Conditional Generation 举例:假设你有一个domain XXX 的image,它们是real photo,还有一个domain YYY 的image,它们是画作,你可以用一个generator来输入real photo,输出画作。你在training的时候你并不需要labelled data,这是风格转化的实现过程,只有两堆data,machine自己学到怎么从其中一堆转到.原创 2021-10-14 21:24:32 · 158 阅读 · 0 评论 -
机器学习之十八(读书笔记)
二十八、 本文是对blibli上李宏毅机器学习2020的总结,如有侵权会立马删除。原创 2021-10-12 21:19:09 · 173 阅读 · 0 评论 -
机器学习之十七(读书笔记)
二十六、 本文是对blibli上李宏毅机器学习2020的总结,如有侵权会立马删除。...原创 2021-10-09 20:13:31 · 185 阅读 · 0 评论 -
机器学习之十六(读书笔记)
二十五、ELMO,BERT,GPT 怎么让机器去读人类的文字。 在BERT之前的方法: 同一个词汇是可能有不同的意思的,举例: 过去在做embedding时每一个word type有一个embedding,不同的token属于同一个type,它所对应的vector就是一模一样的。事实上并不是如此,不同的token就算它们是同样的type,也有可能有不同的语义。过去的做法就是给它们不同的embedding。这样做是不够的。原创 2021-09-29 16:56:50 · 184 阅读 · 0 评论 -
机器学习之十五(读书笔记)
二十四、Unsupervised Learning:Deep Auto-encoder 1、Auto-encoder 比如做数字辨识,首先找一个encoder,可以input一张digit,接下来可能就是一个neural network,它的output就是一个code(大小比input小,会有压缩的效果),这个code代表原来input这张image的某种精简有效的representation。 问题是现在做的unsupervised learning,不知道output长什么样子。所以我们原创 2021-09-28 16:34:16 · 227 阅读 · 0 评论 -
机器学习之十四(读书笔记)
Unsupervised Learning–Linear MethodsK-meansdimension reductionPrinciple component analysis(主成分分析)(PCA)二十二、Unsupervised Learning–Linear MethodsDimension Reduction(降维)分为两种: Generation(无中生有); Reduction(化繁为简):Clustering & Dimension 1、Cluste.原创 2021-09-26 21:01:50 · 260 阅读 · 0 评论 -
机器学习之十三(读书笔记)
Transformer二十一、Transformer(变压器) Transformer的知名应用–BERT。 Transformer是一个Seq2seq model with “Self-attention”。 1、Self-attention 一般要处理一个Sequence,最常想到的架构就是RNN,假设是single directional的RNN,下图,在输入b4b^4b4时,已经把a1a^1a1到a4a^4a4都看过了;如果是双向的,当你输出每一个b1b^1b1到b4b^4b.原创 2021-09-24 11:09:06 · 112 阅读 · 0 评论 -
机器学习之十二(读书笔记)
pointer networkRecursive Structure十九、Pointer Network(指针网络) 解一系列演算法: 给十个data point,用自动的方法找出一些点,连接起来可以把其余的点包进去。 一个neural network,它的input就是十个data point,每一个data point就用xy坐标表示,所以input就是10个二维的vector,丢到network里去,期待它的output为(4 2 7 6 5 3): 那这个poin.原创 2021-09-22 17:10:33 · 86 阅读 · 0 评论 -
机器学习之十一(读书笔记)
十八、Conditional Generation by RNN & AttentionGenerationAttentionTips for GenerationPointer Network (一)Generation 产生有structure的object,假设可以拆成很多component,使用RNN把这个component一个一个产生出来。 举例来说,怎么让machine产生句子,一个句子由word或者character组成,使用RNN把character或wor原创 2021-09-21 10:51:20 · 145 阅读 · 0 评论 -
机器学习之十(读书笔记)
Network Compression十七、Network Compression(网络压缩) 原因:移动设备存储有限,不能存太深或太大的network,我们希望可以把我们的network缩小让它可以fit这些设备上有的运算资源。 可以让network变小的方式:Network Pruning(网络剪枝)Knowledge Distillation(知识提炼)Parameter Quantization(参数量化)Architecture Design(建筑设计)Dynamic C.原创 2021-09-14 20:08:29 · 90 阅读 · 0 评论 -
机器学习之九(读书笔记)
Attack ML Models十五、Attack and DefenseAttack1、什么是攻击 想做什么样的攻击? 举例:现有一个影响侦测的模型,原本它的功能是输入一张图片,它就能告诉你这张图片里面是什么样的东西: 我们现在做这样的事情:把图片上加上一些杂讯,这些杂讯不是随机生成的杂讯,加上这些杂讯就能得到稍微有点不一样的图片,把这个稍微有点不一样的图片丢到network里面,network就能得到非常不一样的结果: 2、Loss Function for Attack.原创 2021-09-13 20:38:39 · 355 阅读 · 0 评论 -
机器学习之八(读书笔记)
Explainable Machine LearningLocal Explanation十四、Explainable Machine Learning(可解释机器学习) 机器不仅要告诉我们它知道,而且要告诉我们它为什么知道。1、介绍 explanation分为两大类: (1)Local Explanation 今天已经给机器一张图片,它要告诉我们为什么它觉得这张图片里面有一只猫。 (2)Global Explanation 不是针对某一张图片来进行解释,而是要它告诉我.原创 2021-09-07 11:17:05 · 252 阅读 · 0 评论 -
机器学习之七(读书笔记)
Semi-supervised LearningUnsupervised Learning :Word Embedding十二、Semi-supervised Learning(半监督学习)1、介绍 Supervised learning :{(xr,y^r)}r=1R\begin{Bmatrix}(x^r,\hat{y}^r)\end{Bmatrix}^R_{r = 1}{(xr,y^r)}r=1R,其中xrx^rxr :image,y^r\hat{y}^ry^r:class l.原创 2021-09-04 15:23:07 · 171 阅读 · 0 评论 -
机器学习之六(读书笔记)
十一、Recurrent Neural Network(RNN)(循环神经网络) 智慧客服,订票系统,需要Slot Filling(槽位填充)这项技术,假设现在有人说“我要买11月2日去上海的票”,比如在订票系统的Slot分为Destination和time of arrival,系统需要自动辨别每一个词汇属于哪个Slot。 如何解决slot filling呢? 可以使用Feedforward network:input是一个词汇,变成一个vector,丢到这个network中去,output应原创 2021-09-02 15:31:27 · 235 阅读 · 0 评论 -
机器学习之五(读书笔记)
十、Convolutional Neural Network 为什么CNN会被用于图像? (1)CNN简化neuron network 架构,过滤掉不需要的参数。 (2)大部分pattern比整张image还要小,一个neuron只需要链接到一小块区域,不需要连接到整张图片;假设现有一张图片,需要侦测是否有“鸟嘴”: (3)同样的pattern出现在不同的区域,可以用同样的neuron侦测出来;假设现有两张图片,一个的鸟嘴在左上角,一个在中间,要求这两个neuron共享同一组参数,...原创 2021-08-26 15:24:05 · 133 阅读 · 0 评论 -
机器学习之四(读书笔记)
Deep LearningBackpropagationTips for Deep Learning八、Deep Learning历史:1958:Perceptron(linear model)(感知器)1969:Perceptron has limitation1980:Multi-layer perceptron(多层感知器)(与今天的DNN没有显著差异)1986:Backpropagation(反向传播)(通常超过3个隐藏层就train不出好的结果)1989:1 hidden .原创 2021-08-20 16:45:29 · 208 阅读 · 0 评论 -
机器学习之三(读书笔记)
五、Classification:Probabilistic Generative Model在分类中找一个function,它的input是一个object x,它的output是这个object属于哪一个class。task:在金融上,通过某个人的信息决定要不要借钱给他;医疗诊断;手写字辨识;人脸辨识;以下以宝可梦为例:1.将宝可梦数值化放到function中,即特性数值化:Total(多强)、HP(生命值)、Attack(攻击)、Defense(防御)、SP Atk(特殊攻击时的攻击力)、原创 2021-08-05 19:53:38 · 391 阅读 · 0 评论 -
机器学习之二(读书笔记)
四、Gradient Descent(梯度下降)梯度下降步骤:1.选取两个参数{θ1,θ2\theta_{1},\theta _{2}θ1,θ2}2.随意选取一个初始位置θ0=[θ10θ20]\theta^{0} = \begin{bmatrix}\theta _{1}^{0}\\ \theta _{2}^{0}\end{bmatrix}θ0=[θ10θ20]3.通过梯度下降得到新的位置θ1\theta^{1}θ1,即[θ11θ21]=[θ10θ20]−η[∂L(θ10)/∂θ1∂原创 2021-05-19 18:27:04 · 273 阅读 · 0 评论 -
机器学习之一(读书笔记)
一、绪论机器学习就是找函式。寻找函式的方法----Gradient Descent15个知识点。Regression:输出一个数值Binary Classification:输出值只有Y或N3. Multi-class Classification:输出值在很多个中选一个4. Generation:生成5.Supervised Learning:给机器有label的资料5. Unsupervised Learning:给机器无label的资料6. Reinforcement原创 2021-05-17 16:27:15 · 150 阅读 · 0 评论