- 博客(26)
- 收藏
- 关注
RSS订阅原创 李宏毅机器学习第十三周
本周的学习内容涵盖了神经网络压缩技术的多个方面，包括网络剪枝、知识蒸馏、参数量化、架构设计以及动态计算。在网络剪枝部分，深入研究了基本方法，重点关注了权重剪枝和神经元剪枝的技术。知识蒸馏方面，学习了学生和教师模型的概念，以及如何通过蒸馏方法将大模型的知识传递给小模型，还讨论了集成和温度参数的重要性。参数量化部分，探讨了基本方法和二元权值的应用。在架构设计中，介绍了低秩近似和切除分离卷积的技术，包括方法和直观解释。最后，学习了动态计算的概念，了解了如何在运行时根据输入数据的特性来调整计算过程。
2023-09-03 17:48:02
86
原创 李宏毅机器学习第十二周
本周学习了机器终身学习（Life Long Learning）的多个方面。在终身学习的简介中，了解了这一方法的核心思想，即使计算机系统能够持续地学习和应用新知识以适应不断变化的环境和任务。在知识保留方面，探讨了多任务训练的限制，介绍了弹性权重保留（Elastic Weight Consolidation）和生成数据（Generating Data）等方法。在知识转移方面，比较了终身学习和迁移学习，讨论了衡量终身学习能力的方法以及梯度片段记忆（Gradient Episodic Memory，GEM）。
2023-08-27 20:01:37
153
原创 李宏毅机器学习第十一周
本周学习了强化学习的内容，主要聚焦于Actor-Critic方法、奖励塑造、以及无奖励情境下的模仿学习。在Actor-Critic部分，深入了解了基于蒙特卡洛和时序差分方法的Actor-Critic框架，探讨了这两种方法之间的比较以及版本3.5和版本4的演进。此外，还学习了Actor-Critic训练的技巧。在奖励塑造方面，探究了稀疏奖励问题，以及如何通过奖励塑造和好奇心机制来改善训练效果。最后，在无奖励情境下，研究了模仿学习和逆强化学习的应用，讨论了动机、方法以及与监督学习的关系。
2023-08-20 10:16:32
193
原创 李宏毅机器学习第十周
本周的学习内容涵盖了领域自适应和强化学习两个方面。在领域自适应方面，深入研究了领域转移的概念，即如何应对数据从一个领域到另一个领域的变化。还学习了领域对抗训练，其中包括特征提取器、领域分类器的工作原理，以及该方法的局限性。在强化学习方面，探究了其本质，即通过智能体与环境的交互来学习决策以最大化累积奖励。学习了强化学习的步骤，其中包括强化学习的难点以及与生成对抗网络的类比。深入研究了策略梯度方法，包括不同版本的策略梯度方法，为了优化智能体的决策策略，从而最大化累积奖励。#摘要。
2023-08-13 15:43:33
72
原创 李宏毅机器学习第九周
本周学习了可解释性概念及其重要性，以及在机器学习中实现可解释性的不同方法。在可解释性方面，探讨了为什么需要使模型的决策过程更具可理解性，并如何在不同层面上实现解释性。在局部解释性方面，介绍了局部解释性的概念，并深入探讨了移除和修改数据的方法。在全局解释性方面，学习了激活最小化方法，并介绍了通过生成器进行“正则化”的方法。
2023-08-06 19:01:59
45
原创 李宏毅机器学习第八周
本周主要学习了Adversarial Attack（对抗攻击）和Defense（防御）相关的内容。在对抗攻击方面，学习了攻击的示例、攻击的方法以及攻击的途径。通过对输入数据进行微小的、精心设计的扰动，攻击者可以欺骗机器学习模型，导致模型产生错误的预测结果。还了解了白盒攻击和黑盒攻击的区别，白盒攻击指攻击者了解模型的结构和参数，而黑盒攻击则只能通过模型的输出结果进行攻击。在防御方面，学习了被动防御和主动防御两种策略。被动防御主要是针对对抗攻击的检测和修复，通过检测异常数据和修正对抗样本来提高模型的鲁棒性。
2023-07-29 13:04:43
48
原创 李宏毅机器学习第七周
本周学习了自编码器（Auto-Encoder）及其变体以及在不同领域中的应用。自编码器是一种无监督学习模型，用于学习数据的有效表示。它通过编码器和解码器的结构，将输入数据转换为潜在表示，再从潜在表示重构回原始数据。De-noising Auto-encoder是自编码器的一种变体，通过在输入数据中引入噪声，提高模型的鲁棒性。自编码器的应用涵盖了特征解耦、离散表示和异常检测等领域，用于从高维数据中提取有用特征、进行数据降维和发现异常行为。
2023-07-23 16:21:42
137
原创 李宏毅机器学习第六周
本周主要学习自监督学习，如何使用没有标记的数据进行model的训练。学习了知名的大模型BERT和GPT，BERT是一个pre-train model，可以用于许多下游任务，只需要fine-tune一下。fine-tune的方式有许多，具体分为输入和输出两大类别。也学习了预训练的SeqtoSeq model，UniLM model。最后，为了学习pytorch，写了一个线性回归的例子。
2023-07-16 13:58:24
110
1
原创 李宏毅机器学习第五周
本周学习对抗神经网络，知道了生成性模型和对抗神经网络的关系；了解了GAN的网络架构和模型训练流程；GAN的种类也十分多，了解到了有条件和无条件GAN的区别；也对cycle GAN进行了学习；GAN十分难训练，需要一些train的技巧；也学到一些评估GAN生成器好坏的方法。我还阅读了GAN的论文，对理论部分进行了推导，对不懂的知识查了相关概念。最后找了一个运用GAN生成手写数字的demo，进行代码运行和阅读。
2023-07-08 20:19:07
99
原创 李宏毅机器学习第四周
本周主要学习了Transformer。学习了Self-Attention的基本原理与具体过程；学习了一种叫做“多头”注意力（“multi-headed” attention）的机制，进一步完善了自注意力层；为了解决在Self-Attention中词的顺序信息是不重要的问题，而提出Position Encoding操作；重点是Transformer的整体架构，Transformer采用了Encoder-Decoder框架，以机器翻译为具体实例做了过程讲解；最后学习一些训练模型的tips。
2023-07-02 19:13:44
114
1
原创 李宏毅机器学习第三周
本周学习机器学习中出现的问题，以及问题的解决方案，包括损失函数的error surface如何才能不那么崎岖，可以进行normalization消除量纲的影响；三种critical point如何区分及解决；了解了Adam优化器；并学习了机器学习中的训练技巧batch，自适应学习率，momentum；还有交叉验证评估模型。还学习CNN的基本架构。
2023-06-25 18:46:22
68
原创 李宏毅机器学习第二周
本周学习了预测宝可梦cp值的线性回归案例，生成性学习的分类和逻辑回归的分类，以及这三种方法的对比。在预测宝可梦们cp值案例中，了解到了过拟合出现的原因以及解决过拟合的方法。在使用生成性学习去预测宝可梦的类别的案例中，了解到了sigmoid函数和生成行性学习的关系，也就是逻辑回归分类。通过对比线性回归和逻辑回归，发现逻辑回归就是在线性回归外面套了一个sigmoid函数，但是损失函数不同。
2023-06-18 22:16:01
121
2
原创 李宏毅机器学习第一周
本周学习关于机器学习的知识，并梯度下降调整模型参数的步骤进行理解，还学习一些深度学习定义和概念，并对两层神经网络模型反向传播更新参数的过程进行推导。通过这周的学习明白了机器学习的一般步骤。提示：以下是本篇文章正文内容，下面案例可供参考Machine Learning 约等于 Looking for Function（找到一个最优的函数）Speech Recognition 语音识别lmage Recognition 图像识别Playing Go （下围棋 下一步棋该如何走）
2023-06-11 18:32:47
108
原创 2021-05-29
文章目录一、状态保持一、状态保持将通过认证的用户的唯一标识信息（比如：用户ID）写入到当前浏览器的 cookie 和服务端的 session 中。详细见：https://www.cnblogs.com/gzshan/p/11125140.html
2021-05-29 10:35:48
40
原创 tcp网络应用开发流程
文章目录一、TCP网络应用程序开发流程的介绍二、TCP客户端程序开发流程的介绍三、TCP服务端程序开发流程的介绍总结一、TCP网络应用程序开发流程的介绍TCP网络应用程序开发分为：TCP客户端程序开发TCP服务端程序开发说明:客户端程序是指运行在用户设备上的程序，服务端程序是指运行在服务器设备上的程序，专门为客户端提供数据服务。二、TCP客户端程序开发流程的介绍步骤说明:1．创建客户端套接字对象2．和服务端套接字建立连接3．发送数据4．接收数据5．关闭客户端套接字三、.
2021-04-08 09:15:06
98
原创 socket（套接字）
文章目录一、socket概念二、socket的作用总结一、socket概念socket (简称套接字)是进程之间通信一个工具﹐好比现实生活中的插座﹐所有的家用电器要想工作都是基于插座进行﹐进程之间想要进行网络通信需要基于这个socket二、socket的作用负责进程之间的网络数据传输﹐好比数据的搬运工不夸张的说﹐只要跟网络相关的应用程序或者软件都使用到了socket如下图：总结进程之间网络数据的传输可以通过socket来完成，socket就是进程间网络数据通信的工具·...
2021-04-08 08:59:39
107
原创 端口和端口号
文章目录一、提出问题二、什么是端口三、什么是端口号四、端口和端口号的关系五、端口号的种类总结一、提出问题不同电脑上的qq，微信之间进行数据通信﹐它是如何保证把数据给qq，微信而不是给其它软件呢?其实﹐每运行一个网络程序都会有一个端口﹐想要给对应的程序发送数据﹐找到对应的端口即可。二、什么是端口端口是传输数据的通道﹐好比教室的门﹐是数据传输必经之路。那么如何准确的找到对应的端口呢?其实﹐每一个端口都会有一个对应的端口号﹐好比每个教室的门都有一个门牌号﹐想要找到端口通过端口号即可。三、.
2021-04-08 08:38:45
453
原创 进程和线程的对比
文章目录一、进程和线程的对比的三个方向二、关系对比三、区别对比四、优缺点对比总结一、进程和线程的对比的三个方向关系对比区别对比优缺点对比二、关系对比1 . 线程是依附在进程里面的﹐没有进程就没有线程。2 . 一个进程默认提供―条线程﹐进程可以创建多个线程。三、区别对比1．进程之间不共享全局变量2．线程之间共享全局变量﹐但是要注意资源竞争的问题﹐解决办法:互斥锁或者线程同步3．创建进程的资源开销要比创建线程的资源开销要大4．进程是操作系统资源分配的基本单位﹐线程是CP.
2021-04-05 20:20:33
207
原创 线程的介绍
文章目录一、什么是线程二、线程的作用总结一、什么是线程线程是进程中执行代码的一个分支﹐每个执行分支（线程）要想工作执行代码需要cpu进行调度﹐也就是说线程是cpu调度的基本单位﹐每个进程至少都有一个线程﹐而这个线程就是我们通常说的主线程。二、线程的作用多线程可以完成多任务多线程效果图：说明:程序启动默认会有一个主线程，程序员自己创建的线程可以称为子线程，多线程可以完成多任务。这里的线程是在一个进程中的，当一个进程被创建时默认创建一个线程。总结线程是Python程序中实现多任务的另外一.
2021-04-05 19:56:27
59
原创 线程
文章目录一、导入线程模块二、线程类Thread参数三、多线程完成多任务四、线程带有参数任务的执行总结一、导入线程模块import threading二、线程类Thread参数Thread([group [., target [. name [, args [. kwargs]]I]])group:线程组﹐目前只能使用Nonetarget:执行的目标任务名args:以元组的方式给执行任务传参kwargs:以字典方式给执行任务传参name:复程名﹐一般不用设置启动线程使用start方法.
2021-04-05 19:55:39
44
原创 进程
文章目录一、导入进程包二、进程类参数的说明1.2.Process进程类的说明2.Process创建的实例对象的常用方法:3.执行两个进程的两种方法4.实际例子一、导入进程包#python2import multiprocessing#python3import multiprocess二、进程类参数的说明1.2.Process进程类的说明Process([group [, target [, name [, args [, kwargs]]]])group:指定进程组﹐目前只能使.
2021-04-03 21:11:39
92
1
原创 进程介绍
文章目录一、什么是进程二、进程的作用1.单进程2.多进程总结一、什么是进程一个正在运行的程序或者软件就是一个进程﹐它是操作系统进行资源分配的基本单位﹐也就是说每后动一个进程﹐操作系统都会给其分配一定的运行资源(内存资源)保证进程的运行·比如:现实生活中的公司可以理解成是一个进程﹐公司提供办公资源(电脑﹑办公桌椅等)﹐真正干活的是员工﹐员工可以理解成线程。注意:**一个程序运行后至少有一个进程，一个进程默认有一个线程﹐进程里面可以创建多个线程﹐线程是依附在进程里面的﹐没有进程就没有线程。**.
2021-04-03 21:09:31
252
原创 多任务
学习目标：提示：这里可以添加学习目标例如：一周掌握 Java 入门知识学习内容：提示：这里可以添加要学的内容例如：1、 搭建 Java 开发环境2、 掌握 Java 基本语法3、 掌握条件语句4、 掌握循环语句学习时间：提示：这里可以添加计划学习的时间例如：1、 周一至周五晚上 7 点—晚上9点2、 周六上午 9 点-上午 11 点3、 周日下午 3 点-下午 6 点学习产出：提示：这里统计学习计划的总量例如：1、 技术笔记 2 遍2、CSDN 技术博客 3 篇
2021-04-03 21:07:51
64
原创 初识scrapy框架
本文适用于初学者 可以体会一下scrapy框架的强大前言一、scrapy框架是什么？二、步骤1.创建项目2.生成爬虫文件3.进入items文件4.进入爬虫文件Douban5.进入settings文件6.运行爬虫文件总结新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图
2021-01-02 13:12:33
225
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人