- 博客(95)
- 收藏
- 关注
RSS订阅原创 【强化学习的数学原理-赵世钰】课程笔记（六）随机近似与随机梯度下降
本次课学习随机近似理论（Stochastic Approximation）和随机梯度下降（Stochastic Gradient Descent）。因为下节课我们要介绍 Temporal-Difference learning，这是一个无模型的强化学习算法，下节课与上节课介绍的有一个知识的鸿沟，比较难理解。实际上，Temporal-Difference learning 是 Stochastic Approximation 的一个特殊情况。因此，这节课先介绍背景知识。
2024-06-04 15:16:09
1002
原创 【强化学习的数学原理-赵世钰】课程笔记（五）蒙特卡洛方法
上节课介绍了 model-base 的方法，这节课将介绍 model-free 的方法，上节课的 policy iteration 的方法是这节课的基础，我们把 policy iteration 当中基于模型的部分替换成不需要模型的部分就得到了今天的算法。在这门课中，把 value iteration 和 policy iteration 统称为 model-base reinforcement learning，但是更准确来说，它们应该称为动态规划（dynamic programming）的方法。
2024-05-28 09:33:42
679
原创 【强化学习的数学原理-赵世钰】课程笔记（四）值迭代与策略迭代
本节课讲的是 model base 的算法，下节课将会介绍 model-free 算法。值迭代和策略迭代和截断策略迭代都是求解最优状态值和最优策略的办法值迭代算法（value iteration algorithm）：第三章的贝尔曼最优公式中，提到了有一个算法能求解贝尔曼最优公式，这个算法实际上就是值迭代算法。策略迭代算法（policy iteration algorithm）：在第五章，不需要模型的蒙特卡洛方法中有重要应用。是下节课，蒙特卡洛学习（Mente Carlo learning）的一个基础。
2024-05-27 12:25:56
666
原创 【强化学习的数学原理-赵世钰】课程笔记（二）贝尔曼公式
【强化学习的数学原理-赵世钰】课程笔记（二）贝尔曼公式一. 内容概述1. 第二章主要有两个内容（1）一个核心概念：状态值（state value）：从一个状态出发，沿着一个策略我所得到的奖励回报的平均值。状态值越高，说明对应的策略越好。之所以关注状态值，是因为它能评价一个策略的好坏。（2）基本工具：贝尔曼公式（the Bellman equation）：用于分析状态值，描述所有状态和状态值之间的关系，这个关系就是一个方程，一个等式。通过求解这个方程就可以求解出来一个给定策略的状态值，因此就可以评
2024-04-07 15:39:25
815
原创 Docker 的资源控制
Docker 容器技术在开发和部署应用程序方面带来了极大的便利。然而，随着容器数量的增加，合理地管理和控制资源使用变得至关重要。详细介绍如何使用 Docker 对容器的资源进行控制，包括内存、CPU、磁盘 I/O 和网络带宽。
2024-03-07 19:43:09
638
1
原创 Linux 系统上卸载 Docker
停止 Docker 服务：sudo systemctl stop docker卸载 Docker 程序包：不同的 Linux 发行版有不同的包管理工具，以下是一些常见的发行版的卸载命令：对于使用 apt 的系统（如 Ubuntu、Debian）：sudo apt-get purge docker-ce docker-ce-cli containerd.io docker-compose-plugin对于使用 dnf 的系统（如 Fedora）：sudo dnf remove doc
2024-03-07 15:21:10
3238
原创 Windows下使用C++调用海康威视SDK获取实时视频流进行检测
里面有开发文档和SDK的动态库文件，有各种开发语言的Demo案列。（可以参考一下他的接口调用）因为要实现实时视频流的解析。所以还需要一个头文件。根据自己的开发平台选择SDK下载。将OpenCV的文件放在工程目录下。文件夹所有文件复制到项目工程下的。文件夹所有文件复制到项目工程下的。文件复制到项目工程下的。添加包含目录以及库目录。
2024-02-28 15:54:45
3870
12
原创 联邦学习框架：FedAdapt: Adaptive Offloading for IoT Devices in Federated Learning 框架的部署实现
FedAdapt是一个全面的物联网边缘环境的框架，克服了加速联合学习资源有限的设备上的挑战，减少散兵游勇所产生的物联网设备的计算异质性和适应不同的设备和边缘服务器之间的网络带宽的影响。
2024-01-20 19:55:10
921
原创 CentOS7 配置静态IP
确保你用的静态 IP 地址没有被网络中的其他设备使用，并且是你的本地网络子网内的有效地址。在对网络配置进行任何更改之前，建议备份原有的配置文件。如果你正在远程访问这台 CentOS 7 机器进行配置，错误的网络设置可能会导致你丢失对机器的访问。在这种情况下，确保有替代的访问方法，例如通过控制台或物理访问来修复配置。在 CentOS 7 中配置静态 IP 地址通常涉及修改网络配置文件。如果你更改了网关，你可能需要更新系统路由。如果需要修改路由，你可以使用。网关地址在配置IP有用。
2024-01-19 19:04:40
546
原创 边缘分布式机器学习
基于同步障步调一致，收敛性有保证等待严重，延迟大Bulk Synchronous Parallel基于参数服务器（或者锁）自主步调，等待少收敛性差Stale Synchronous这衷平衡星形拓扑、树形拓扑、蝶形拓扑、环形拓扑pytorch、TensorFlow和caffe2等框架都实现AllReduce/Ring-AllReduce如何减少通信开销?由于通信间隔会导致各个机器间存在一定的不一致，对优化带来一定影响。该方法在凸优化问题下有理论保证，但在处理神经网络等非凸模型时缺乏理论证明，往
2023-11-12 19:32:40
272
原创 Visual Studio 2022 + OpenCV 4.5.2 安装与配置教程
windows10 下 Visual Studio 2022 + OpenCV 4.5.2 安装与配置教程
2023-11-06 16:09:24
992
原创 Transformer-深度学习-台湾大学李宏毅-课程笔记
Transformer是一种基于自注意力机制（self-attention）的神经网络模型，用于序列到序列（sequence-to-sequence）任务，如机器翻译和文本摘要。它在2017年由Vaswani等人提出，并在机器翻译任务中取得了显著的性能提升。
2023-10-26 11:35:03
684
原创 自注意力机制（Self-attention）-深度学习-台湾大学李宏毅
自注意力机制（self-attention）是一种用于处理序列数据的注意力机制，最早应用在Transformer模型中。自注意力机制能够在输入序列中建立起各个元素之间的关联性，并根据这些关联性为每个元素分配一个权重。
2023-10-16 19:48:32
434
1
原创 计算机视觉与深度学习-Transformer-【北邮鲁鹏】
通过编码器-解码器注意力，解码器可以在生成目标序列的每个位置时，动态地关注与之对应的源语言序列的不同位置。One-hot维度和字典长度有关系。通过堆叠多个相同的解码器层，解码器可以逐步生成目标序列，并在每个解码器层中融合源语言序列的上下文信息和自身的上下文信息。同样的，已翻译的词汇，加入个数是M个，使用One-hot编码，是M个One-hot维度的向量。编码器由多个相同的编码器层（Encoder Layer）堆叠而成，堆叠多个相同的编码器层可以逐渐提取输入序列的高级表示，捕捉输入序列中的语义和上下文信息。
2023-09-30 17:18:53
375
原创 计算机视觉与深度学习-循环神经网络与注意力机制-Attention（注意力机制）-【北邮鲁鹏】
注意力机制通过在解码过程中动态选择性地聚焦（focus）输入序列的特定部分，使模型能够根据输入序列的不同部分调整其关注和权重分配。它允许模型根据当前解码步骤的需要，动态地分配不同的注意力或权重给输入序列的不同位置，以捕捉关键信息。
2023-09-23 16:43:29
335
原创 计算机视觉与深度学习-循环神经网络与注意力机制-RNN（Recurrent Neural Network）、LSTM-【北邮鲁鹏】
RNN 的主要特点是引入了循环连接，允许信息在网络内部进行传递。这种循环结构使得 RNN 可以接受变长序列作为输入，并且在每个时间步上都可以利用之前的信息来影响当前的输出。
2023-09-23 10:45:44
644
原创 计算机视觉与深度学习-图像分割-视觉识别任务03-实例分割-【北邮鲁鹏】
将图像中的每个像素与其所属的目标实例进行关联，并为每个像素分配一个特定的标签，以实现像素级别的目标定位和分割。
2023-09-21 10:44:34
374
原创 计算机视觉与深度学习-图像分割-视觉识别任务02-目标检测-【北邮鲁鹏】
目标检测的目标是确定图像中存在的目标的类别，并在图像中标记出它们的位置，通常使用边界框来表示目标的位置和大小。
2023-09-20 21:34:17
934
原创 计算机视觉与深度学习-经典网络解析-ResNet-[北邮鲁鹏]
ResNet（Residual Neural Network）是一种深度卷积神经网络模型，由Kaiming He等人在2015年提出。它的设计目的是解决深度神经网络训练过程中的梯度消失和梯度爆炸问题，以便训练更深的网络。
2023-09-18 20:08:05
454
原创 计算机视觉与深度学习-经典网络解析-AlexNet&ZFNet&VGG&GoogLeNet&ResNet[北邮鲁鹏]
深度学习-经典网络解析-AlexNet&ZFNet&VGG&GoogLeNet&ResNet[北邮鲁鹏]
2023-09-18 19:59:34
370
原创 计算机视觉与深度学习-经典网络解析-GoogLeNet-[北邮鲁鹏]
GoogLeNet的设计主要特点是引入了Inception模块，这是一种多尺度卷积结构，可以在不同尺度下进行特征提取。Inception模块使用了不同大小的卷积核和池化操作，并将它们的输出在通道维度上连接在一起，以获得更丰富的特征表示。
2023-09-18 17:43:00
309
原创 计算机视觉与深度学习-经典网络解析-VGG-[北邮鲁鹏]
VGG是Oxford的Visual Geometry Group的组提出的（大家应该能看出VGG名字的由来了）。该网络是在ILSVRC 2014上的相关工作，主要工作是证明了增加网络的深度能够在一定程度上影响网络最终的性能。VGG有两种结构，分别是VGG16和VGG19，两者并没有本质上的区别，只是网络深度不一样。
2023-09-18 17:03:27
453
原创 计算机视觉与深度学习-经典网络解析-ZFNet-[北邮鲁鹏]
ZFNet是一种基于AlexNet的模型，由Matthew D. Zeiler和Rob Fergus在2013年提出。相对于AlexNet，ZFNet结构与AlexNet网络结构基本一致，进行了一些改进，包括卷积核。
2023-09-18 17:02:04
312
1
原创 计算机视觉与深度学习-经典网络解析-AlexNet-[北邮鲁鹏]
AlexNet 是一种卷积神经网络（Convolutional Neural Network，CNN）的架构。它是由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton提出的，并在2012年的ImageNet大规模视觉识别挑战赛（ILSVRC）中获胜。AlexNet是推动深度学习在计算机视觉任务中应用的先驱之一
2023-09-18 17:00:25
733
原创 计算机视觉与深度学习-卷积神经网络-纹理表示&卷积神经网络-卷积神经网络-[北邮鲁鹏]
可以将卷积神经网络类比为纹理表示例子中的卷积核组，最后得到表示特征响应图组的48维向量，之后接全连接神经网络进行分类（全连接神经网络适合处理小输入）
2023-09-16 17:47:42
535
原创 计算机视觉与深度学习-卷积神经网络-纹理表示&卷积神经网络-纹理表示-[北邮鲁鹏]
纹理是由于物体表面的物理属性的多样性而造成的，物理属性不同表示某个特定表面特征的灰度或者颜色信息不同，不同的物理表面会产生不同的纹理图像，因而纹理作为图像的一个极为重要的属性，在计算机视觉和图像处理中占有举足轻重的地位。纹理是图像中特征值强度的某种局部重复模式的宏观表现。
2023-09-16 14:41:04
628
原创 计算机视觉与深度学习-卷积神经网络-卷积&图像去噪&边缘提取-图像去噪 [北邮鲁鹏]
噪声点，其实在视觉上看上去让人感觉很难受，直观理解就是它跟周围的像素点差异比较大，显得比较突兀，视觉看起来很不舒服，这就是噪声点。，高斯噪声的产生一个是由于采集器附加的噪声，另一个是由于光学问题带来的噪声。当图像处理时，将3 * 3的卷积核套在图像的9个像素上，取这9个图像向上的像素值，排序求出其中值，并用该。虽然高斯卷积核可以去除高斯噪声，但是更模糊（最下图比最上图模糊），坏的噪声去掉了，好的像素也受到了影响。噪声的方差越大，高斯卷积核的方差或尺寸就要越大。相互独立的，而且服从均值为0的正态分布。
2023-09-15 18:10:19
621
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人