- 博客(50)
- 收藏
- 关注
RSS订阅
1原创 机器学习李宏毅学习笔记38
生成式学习两种策略：各个击破/一次到位有结构的生成物比如语句、影像、声音等。视频学习地址：https://www.bilibili.com/video/BV1TD4y137mP?
2023-07-21 19:44:42
292
原创 机器学习李宏毅学习笔记37
ChatGPT简单原理介绍ChatGPT关键技术：预训练Pre-train预训练也可以叫做自监督式学习Self-supervised Learning或基石模型（Foundation Model），成对资料通过无痛生成的叫做自监督式学习。ChatGPT是由GPT微调而来，GPT就是ChatGPT的基石。人类可以提供的成对资料相对来说是少的，GPT的获取成对资料的方式是通过获取网络上的句子，这些句子拆分成两部分，网络上的所有句子都可以是资料。
2023-07-13 19:42:50
496
原创 hook中间层输出
hook获取中间层输出参考https://zhuanlan.zhihu.com/p/87853615# 用于存储各层的输入输出。
2023-07-07 16:02:31
302
原创 （7）深度学习学习笔记-卷积层
在卷积层中，输入张量和核张量通过互相关运算产生输出张量。阴影部分是第一个输出元素，以及用于计算输出的输入张量元素和核张量元素。不同的核可以得到不同的输出。实际上应该是交叉相关。
2023-07-03 20:13:01
397
原创 （5）深度学习学习笔记-多层感知机-pytorch lightning版
pytorch lighting是导师推荐给我学习的一个轻量级的PyTorch库，代码干净简洁，使用pl更容易理解ML代码，对于初学者的我还是相对友好的。pytorch lightning官网网址更多pl的方法，可以到pl官网查看。
2023-07-03 16:34:17
765
原创 （5）深度学习学习笔记-多层感知机
这个多层感知机有4个输入，3个输出，其隐藏层包含5个隐藏单元。输入层不涉及任何计算，只需要实现隐藏层和输出层的计算。每个输入都会影响隐藏层中的每个神经元，而隐藏层中的每个神经元又会影响输出层中的每个神经元。通过在网络中加入一个或多个隐藏层来克服线性模型的限制，使其能处理更普遍的函数关系类型。每一层都输出到上面的层，直到生成最后的输出，把最后一层看作线性预测器。激活函数（activation function）通过计算加权和并加上偏置来确定神经元是否应该被激活， 它们将输入信号转换为输出的可微运算。
2023-06-30 21:03:53
394
原创 机器学习李宏毅学习笔记36
Meta learning（二）应用方向视频学习地址：https://www.bilibili.com/video/BV13Z4y1P7D7?
2023-06-29 18:27:41
353
原创 （3）深度学习学习笔记-简单线性模型
所以采用小批量随机梯度下降，随机采样b个样本用这b个样本来近似损失。优化方法：梯度下降。Learning rate不能太小（到达一个点要走很多步），也不能太大（一直震荡没有真的下降）一个简单模型：假设一个房子的价格由卧室、卫生间、居住面积决定，用x1，x2，x3表示。∑[（真实值-预测值（xi和权重的内积-偏差））平方]。那么房价y就可以认为y=w1x1+w2x2+w3x3+b，w为权重，b为偏差。线性模型可以看做是单层（带权重的层是1层）神经网络。定义loss，衡量预估质量：真实值和预测值的差距。
2023-06-28 20:57:39
693
原创 机器学习李宏毅学习笔记35
Meta learning元学习：学习如何学习提示：以下是本篇文章正文内容，下面案例可供参考学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7?
2023-06-28 16:53:31
510
原创 机器学习李宏毅学习笔记34
神经网络压缩（二）其他方法学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-06-27 21:05:37
343
原创 机器学习李宏毅学习笔记33
神经网络压缩（一）类神经网络剪枝（pruning）视频学习地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-06-26 14:17:51
781
原创 机器学习李宏毅学习笔记32
Life long learning（二）视频学习地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-06-21 20:16:32
106
原创 机器学习李宏毅学习笔记31
Life long learning（一）学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-06-20 19:04:16
75
原创 机器学习李宏毅学习笔记30
概述增强式学习（五）IRL视频学习地址：https://www.bilibili.com/video/BV13Z4y1P7D7?
2023-06-19 21:08:09
44
原创 机器学习李宏毅学习笔记29
概述增强式学习（四）Reward shaping视频学习地址：https://www.bilibili.com/video/BV13Z4y1P7D7?
2023-06-19 21:03:25
66
原创 机器学习李宏毅学习笔记28
概述增强式学习（三）Actor-Critic学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7?
2023-06-16 16:42:40
42
原创 ROC曲线和AUC值
Roc曲线和auc值是分类模型的评估指标。Auc是roc曲线下方面积。学习视频地址：https://www.bilibili.com/video/BV1wz4y197LU/?
2023-06-15 21:01:15
64
原创 机器学习李宏毅学习笔记27
概述增强式学习（二）Policy gradientPolicy gradient的重点是怎么定义A（如何评价actor的行为）一个最简单的方法是：首先收集一些成对的s和a，actor可以看做是随机的，看到s随机输出一个a。A时用来评价希不希望actor采取某个行为，reward的正负表示这个action是否是好的。把reward当做A就可以评价actor采取的行为。这种方法不是一个好的方法，这种方法learn出来的actor，没有一个全面规划的概念。
2023-06-15 19:20:45
46
原创 机器学习李宏毅学习笔记26
概述增强式学习（一）学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-06-14 19:59:13
124
原创 机器学习李宏毅学习笔记25
机器学习模型的可解释性（下）视频学习地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-06-13 18:15:44
32
原创 机器学习李宏毅学习笔记24
机器学习模型的可解释性（上）视频学习地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-06-12 17:28:35
56
原创 机器学习李宏毅学习笔记23
来自人类的恶意攻击（下）知道模型参数的攻击叫白箱攻击，反之叫做黑箱攻击。学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-06-09 17:19:19
31
原创 机器学习李宏毅学习笔记22
来自人类的恶意攻击学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-06-08 20:45:23
43
原创 机器学习李宏毅学习笔记21
Auto-encoder（二）学习视频地址：https://www.bilibili.com/video/BV1zA411K7en/?
2023-06-07 19:21:41
70
原创 机器学习李宏毅学习笔记20
Auto-encoder（一）学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-06-06 20:07:19
35
原创 机器学习李宏毅学习笔记19
自监督学习（三）- BERT自监督学习（四）GPT学习视频地址：（三）https://www.bilibili.com/video/BV13Z4y1P7D7/?（四）https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-06-02 20:44:52
76
原创 机器学习李宏毅学习笔记18
自监督学习（二）BERT简介Supervised learning：训练时要有标签的资料Self-supervised learning：在没有label的情况下做supervised learning。将x分为两部分x’和x’’，一部分作为输入，另一部分当做label。也可以说是unsupervised learning的一种。学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-06-01 17:32:55
36
原创 机器学习李宏毅学习笔记17
生成式对抗网络（四） Cycle GAN学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7?
2023-05-31 17:58:43
54
原创 机器学习李宏毅学习笔记16
生成式对抗网络（三）生成器效能评估与条件式生成学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7?
2023-05-30 20:37:00
42
原创 机器学习李宏毅学习笔记15
生成式对抗网络（二）正态分布简化出的向量，给generator之后，会产生复杂的分布（PG），真正的分布（Pdata），期待PG和Pdata越接近越好。用一维理解一下：假设输入是一个一维向量，generator的输出也是一个一维向量，真正的data也是一维向量。一维向量通过generator，会产生一个新的分布。Divergence表示两个分布之间的距离，divergence越大，表示这两个分布越不像，越小表示越相近。
2023-05-29 20:53:34
36
原创 机器学习李宏毅学习笔记14
生成式对抗网络GAN（一）基本介绍学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-05-26 17:52:03
35
原创 机器学习李宏毅学习笔记13
transformer下（decoder）视频学习地址：https://www.bilibili.com/video/BV13Z4y1P7D7?
2023-05-25 21:04:43
63
原创 机器学习李宏毅学习笔记12
transformer 上（encoder）学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-05-24 18:27:42
45
原创 机器学习李宏毅学习笔记11
self-attention 下学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-05-23 18:18:16
33
原创 机器学习李宏毅学习笔记10
self-attention 上学习视频地址：https://www.bilibili.com/video/BV13Z4y1P7D7/?
2023-05-22 19:59:55
56
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人