- 博客(57)
- 收藏
- 关注
RSS订阅原创 解析方法与几何模型
计数用以表示多少，要计算多了多少少了多少，于是有了数字的概念和四则运算，也就有了后来的代数学；在数学中，坐标变换通常涉及到一系列的矩阵运算，这些矩阵描述了一个坐标系相对于另一个坐标系的位置和方向。当我们说一个坐标系相对于另一个坐标系进行了旋转，我们通常是指它绕着一个轴或者点旋转了一定的角度。无论是设计复杂的机械系统、创建逼真的三维动画，还是开发高级的虚拟现实环境，三维旋转都是不可或缺的基础。这些旋转通常通过旋转矩阵进行计算，并且可以合成为一个单一的矩阵，它描述了总的旋转。最后，我们不能不提NumPy中的。
2024-06-18 23:20:35
748
原创 强化学习--DDPG
不知道读者有没有发现，在强化学习基础算法的研究改进当中，基本无外乎几个亘古不变的主题：首先是如何提高对值函数的估计，保证其准确性，即尽量无偏且低方差；DQN算法的一个主要缺点就是不能用于连续动作空间，这是因为在DQN算法中动作是通过贪心策略或者说argmax的方式来从Q函数间接得到，这里Q函数就相当于DDPG算法中的Critic。在DPG算法 的基础上，再结合一些技巧，就是DDPG算法了，这些技巧既包括DQN算法中也用到的目标网络、经验回放等，也包括引入噪声来增加策略的探索性。
2023-12-22 23:50:36
528
原创 强化学习--DQN
其次，每次迭代的样本都是从环境中实时交互得到的，这样的样本是有关联的，而梯度下降法是基于一个假设的，即训练集中的样本是独立同分布的。这样做的好处是，首先每次迭代的样本都是从经验池中随机抽取的，因此每次迭代的样本都是独立同分布的，这样就满足了梯度下降法的假设。其次，经验池中的样本是从环境中实时交互得到的，因此每次迭代的样本都是相互关联的，这样的方式相当于是把每次迭代的样本都进行了一个打乱的操作，这样也能够有效地避免训练的不稳定性。，这些参数可以通过梯度下降的方式来优化，从而使得神经网络能够逼近任意函数。
2023-12-19 22:22:15
434
原创 强化学习--免模型预测与控制
而蒙特卡洛基于这样的想法：比如我们有一袋豆子，把豆子均匀地在一定范围内朝这个图形上撒，撒到足够多的数量时数一下这个图形中有多少颗豆子，这个豆子的数目就是图形的面积。此时我们借助计算机程序可以生成大量均匀分布坐标点，然后统计出图形内的点数，通过它们占总点数的比例和坐标点生成范围的面积就可以求出图形面积。蒙特卡洛估计方法在强化学习中是免模型预测价值函数的方式之一，本质是一种统计模拟方法，它的发展得益于电子计算机的发明。这样一来，策略和动作价值函数同时达到最优，相应的状态价值函数也是最优的。
2023-12-16 21:02:34
490
原创 大语言模型--数据
另外，来自patents.google.com的一些文本是自动生成的，因此可能存在系统性的错误：例如，用外国的官方语言（如日语）提交的专利将自动翻译成英语；也就是说，虽然OpenWebText并非OpenAI直接发布的WebText的副本，但它遵循了WebText的制作思路和方法，目的是尽可能地模拟和复现WebText的数据特性和结构。OpenWebText从Reddit提交的数据集中提取所有URL，使用Facebook的fastText过滤掉非英语内容，删除近乎重复的内容，最终得到了38GB的文本。
2023-12-15 16:00:51
1391
原创 大语言模型--危害
在本次内容中，我们将讨论另外两种行为伤害：有毒性和虚假信息（毒性和虚假信息）大型语言模型可能会产生攻击性、有害的内容，或者产生虚假性的内容。然而，在我们的研究中前面的讨论，需要指出的是，语言模型与伤害这些之间存在一个断裂。语言模型处理的文本是，这是它们接受训练的数据，并且善于捕捉伤害统计模式。然而，这些涉及的是人，这意味着我们需要将这些伤害视为文本的属性，而不是需要从更广泛的社会语境中考虑。
2023-12-14 16:04:54
1528
原创 大语言模型--能力
增加模型的大小和示例的数量都有助于提高性能。有一些启发式的方法可以使语言模型适应感兴趣的任务。但为什么会有这样的表现，没有人知道。
2023-12-13 21:19:50
1262
原创 强化学习--背景
从数据中学习，或者从演示中学习包含丰富的门类，例如以模仿学习为代表的来自专家的数据中学习策略、以强化逆学习，代表来自数据中学习奖励函数以及来自人类反馈中学习，为代表的来自人类色素的数据中学习奖励模型来进行调节。实际上动态规划原来是一种通用的思路，是具体的某种算法。马尔可夫决策过程是强化学习的基本问题模型，它能够以数学的形式来描述智能体在与交互环境的过程中学习一个目标的过程。这里智能体扮演的是做出决策或动作，并且在交互过程中学习的角色中，环境是指智能体交互中事物外部的一切，不包括智能体本身。
2023-12-13 15:15:11
857
原创 大语言模型--引言
语言模型（LM）的经典定义是一种对令牌序列（token）的概率分布。假设我们有一个令牌集的令牌表。的次方，概率分布可能不会加到1。自回归语言模型的特点是它可以利用例如前馈神经网络等方法有效计算出每个条件概率分布。T=∞：然而，从整个表上的均匀分布中采样，如果我们仅仅将概率提高到。观察上，一个好的语言模型应具有语言能力和世界知识。T=0：确定性地在每个位置我选择最可能的代币。T=1：从纯语言模型“正常（正常）”采样。温度可以用来控制生成中的变异量。语言模型每个为令牌序列。称为放大器条件概率分布。
2023-12-12 15:55:26
936
原创 汽车虚拟仿真视频数据理解--CLIP模型原理
CLIP的全称是Contrastive Language-Image Pre-Training，中文是对比语言-图像预训练，是一个预训练模型，简称为CLIP。该模型是 OpenAI 在 2021 年发布的，最初用于匹配图像和文本的预训练神经网络模型，这个任务在多模态领域比较常见，可以用于文本图像检索，CLIP是近年来在多模态研究领域的经典之作。CLIP模型能够实现文本和图像之间的跨模态学习，这意味着它可以理解和关联文本和图像这两种不同的数据类型。
2023-11-19 22:10:24
646
1原创 matplotlib使用--matplotlib初识
matplotlib使用matplotlib初识matplotlib使用一、认识matplotlib二、figure组成三、绘图接口四、通用绘图模板总结一、认识matplotlibMatplotlib是一个Python 2D绘图库，能够以多种硬拷贝格式和跨平台的交互式环境生成出版物质量的图形，用来绘制各种静态，动态，交互式的图表。pandas和seaborn的绘图接口其实也是基于matplotlib所作的高级封装。Matplotlib的图像是画在figure（如windows，jupyter窗体）
2022-05-17 22:30:59
140
原创 深入浅出PyTorch--PyTorch生态介绍
深入浅出PyTorchPyTorch生态介绍深入浅出PyTorch1.torchtext主要组成2.构建数据集2.1Field及其使用2.2评测指标1.torchtext主要组成torchtext可以方便的对文本进行预处理，例如截断补长、构建词表等。torchtext主要包含了以下的主要组成部分：1）数据处理工具 torchtext.data.functional、torchtext.data.utils2）数据集 torchtext.data.datasets3）词表工具 torchtex
2022-03-24 22:15:19
239
原创 深入浅出PyTorch - Pytorch可视化
深入浅出PyTorchPytorch可视化深入浅出PyTorch一、可视化网络结构1.1torchinfo使用1.2结构化输出二、使用TensorBoard可视化训练过程1.安装配置2.模型结构可视化一、可视化网络结构为了解决实现快速debug，精准描述深度网络的输入结构，输出结构及参数等信息，人们使用torchinfo工具包。1.1torchinfo使用 import torch.nn as nn from torchinfo import summary transf
2022-03-24 12:30:27
2580
原创 深入浅出PyTorch - Pytorch进阶训练技巧
PyTorch进阶训练技巧深入浅出PyTorchPyTorch进阶训练技巧动态调整学习率模型微调提示：以下是本篇文章正文内容，下面案例可供参考学习率的选择是深度学习中一个困扰人们许久的问题，学习速率设置过小，会极大降低收敛速度，增加训练时间；学习率太大，可能导致参数在最优解两侧来回振荡。但是当我们选定了一个合适的学习率后，经过许多轮的训练后，可能会出现准确率震荡或loss不再下降等情况，说明当前学习率已不能满足模型调优的需求。此时我们就可以通过一个适当的学习率衰减策略来改善这种现象，提高我们的精度
2022-03-19 15:40:19
2023
原创 深入浅出PyTorch - Pytorch模型定义
深入浅出PyTorch模型部署及定义使用seqtoseq模型预测时序数据Pytorch模型定义深入浅出PyTorch1.数据集1.1数据读入1.2数据集预处理2模块化搭建模型1.数据集时间序列就是以时间为自变量的一系列数据。本文使用seabon包中的数据。1.1数据读入import seaborn as snsimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport torchimport
2022-03-16 16:54:36
2556
原创 数据分析--模型建立和评估
数据分析–模型建立和评估数据分析数据分析--模型建立和评估一、模型搭建1.1导入数据集1.2读取清洗过的数据集1.3切割训练集和测试集1.4模型创建1.5输出模型预测结果二、模型评估2.1引入库2.2交叉验证2.3混淆矩阵一、模型搭建1.1导入数据集import pandas as pdimport numpy as npimport seaborn as snsimport matplotlib.pyplot as pltfrom IPython.display import Ima
2021-06-23 22:57:00
666
原创 数据分析之四--数据可视化
数据分析之四–数据可视化数据分析数据分析之四--数据可视化一、导入必要包及原始数据二、泰坦尼克数据2.1幸存者中的男女比例2.2男女乘客中幸存与死亡人数比例2.3不同票价者生存与死亡人数一、导入必要包及原始数据import numpy as npimport pandas as pdimport matplotlib.pyplot as plttext = pd.read_csv(r'result.csv')text.head()二、泰坦尼克数据2.1幸存者中的男女比例sex
2021-06-22 00:43:08
213
原创 数据分析--数据清洗及特征处理
数据分析–数据清洗及特征处理提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档数据分析数据分析--数据清洗及特征处理一、数据清洗1.1缺失值二、特征处理2.1重复值观察与处理2.2特征观察与处理一、数据清洗原始数据通常有缺失值及异常点等，因此需要先进行清洗才能使用。1.1缺失值import numpy as npimport pandas as p
2021-06-17 22:39:23
561
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人