- 博客(22)
- 收藏
- 关注
RSS订阅原创 深度学习实战笔记5循环神经网络“读取时光机器数据集””输入字符预测完整句子“完整代码详解
【代码】深度学习实战笔记5循环神经网络“读取时光机器数据集””输入字符预测完整句子“完整代码详解。
2024-07-29 12:40:03
409
原创 深度学习实战笔记4循环神经网络的简洁实现
本节将展示如何使用深度学习框架的高级API提供的函数更有效地实现相同的语言模型。我们仍然从读取时光机器数据集开始。
2024-07-29 11:45:52
457
原创 深度学习实战笔记2实战Kaggle比赛：预测房价
小结真实数据通常混合了不同的数据类型，需要进行预处理。常用的预处理方法：将实值数据重新缩放为零均值和单位方法；用均值替换缺失值。将类别特征转化为指标特征，可以使我们把这个特征当作一个独热向量来对待。我们可以使用𝐾折交叉验证来选择模型并调整超参数。对数对于相对误差很有用。
2024-07-23 13:00:29
1039
原创 腾讯开悟竞赛笔记
当所求问题的解是某个事件的概率，或者是某个随机变量的数学期望，或者是与概率，数学期望有关的量时，通过某种试验的方法，得出该事件发生的概率，或者该随机变量若干个具体观察值的算术平均值，通过它得到问题的解。当随机变量的取值仅为1或0时，它的数学期望就是某个事件的概率。TD 算法的核心思想是通过比较连续状态的预测值和实际值之间的差异来更新预测值，智能体通过不断的与环境交互，获取样本数据，更新并迭代模型，直到模型收敛。有一个q值，每次我贪婪选择动作执行，观察获得的奖励和新状态，更新1值。
2024-07-20 00:05:35
632
原创 机器学习实战8笔记决策树
make_moons：这个函数可以从sklearn.datasets模块中生成一个类似于“月亮”形状的数据集，通常用于测试分类算法。你可以指定数据点的数量、噪声等参数。train_test_split：这个函数位于sklearn.model_selection模块中，用于将数据集分割为训练集和测试集。它允许你指定训练集和测试集的比例。
2024-07-18 20:13:24
389
原创 机器学习实战笔记6多项式特征
多项式特征（Polynomial Features）是一种数据预处理技术，用于将原始特征转换为更高维度的特征空间。这种技术特别适用于线性模型，通过增加特征的复杂性，可以帮助这些模型捕捉数据中的非线性关系。基本概念原始特征：指数据集中的原始变量。多项式特征：通过原始特征的幂、乘积等运算生成的新特征。例如，如果原始特征为𝑥1x1和𝑥2x2，那么可能的多项式特征包括𝑥12x12、𝑥22x22、𝑥1⋅𝑥2x1⋅x2等。多项式特征生成生成多项式特征的过程通常包括以下几个步
2024-07-18 19:30:52
333
原创 机器学习实战笔记5数据标准化
数据标准化（Data Standardization）是一种数据预处理技术，目的是改变数据的数值范围，使其更易于处理和分析。具体来说，数据标准化通常涉及以下几个主要步骤：计算均值（Mean）：对于每个特征，首先计算其均值。均值是所有数据点的算术平均值。计算标准差（Standard Deviation）：接着计算每个特征的标准差。标准差是衡量数据集中数值分布离散程度的指标，计算方式是每个数据点与均值之差的平方的平均值的平方根。标准化转换：将每个数据点通过以下公式转换： 𝑧=(𝑥−𝜇)𝜎z=
2024-07-18 19:19:10
405
原创 机器学习实战笔记4线性回归
这个属性在许多线性模型中都存在，例如线性回归、逻辑回归等。截距项是模型方程中的常数项，表示当所有特征值都为零时，模型预测的输出值。在机器学习模型中，特别是在线性模型中，model.intercept_ 和 model.coef_ 是两个常用的属性，它们分别表示模型的截距项和系数。输出：'y=3749.9999999999964+250.0x'，将方程中所需要的系数都表示好。输出：array([1, 2, 3, 4, 5, 6], dtype=int64)输出：array([[250.]])
2024-07-17 16:03:45
337
原创 机器学习实战笔记3乳腺癌数据集
加个参数目的是为了保持训练集和验证集（或测试集）中各类别的比例与整个数据集中的比例相同。输出乳腺癌数据集的详细描述，通常包括数据集的来源、特征的解释、数据集的版权信息等。遍历包含列名和对应数组（或序列）的列表，并打印出每个数组中各个值的频率（比例）分割：random_state随机种子，test_size25%是测试集。中的一个函数，用于按列合并数组。在这个例子中，它将特征数据。函数将数据集分割为训练集和测试集。2.查看data和target。3.合并data和target。7.训练测试集的均匀拆分。
2024-07-17 15:50:24
342
原创 机器学习实战笔记2特征编码
库中的一个预处理工具，它用于将分类数据（目标变量或特征）中的标签转换为数字值。是一个预处理类，用于将分类特征的整数或名义数据转换为一个二进制（0或1）矩阵。这个属性是一个数组，包含了所有经过编码的类别的排序列表，顺序是它们首次出现在输入数据中的顺序。: 将输入数据 X 转换为二进制矩阵，其中每一行代表一个样本，每一列代表一个类别。: 计算输入数据 X 中类别的频率，构建一个类别到整数索引的映射。这是我们的数据的DataFrame图，我们要做的是将最后一列编码。方法之后才可用的，因为在这些方法中。
2024-07-17 15:37:19
379
原创 机器学习实战笔记1sklearn中IRS数据
输出：dict_keys(['data', 'target', 'frame', 'target_names', 'DESCR', 'feature_names', 'filename', 'data_module']): 也称为“真正例率”或“灵敏度”，它是“实际为正类别中被正确预测为正类别的比例”。: 精确度和召回率的调和平均值，用于衡量模型的准确性和完整性的平衡。输出：array(['setosa', 'versicolor', 'virginica'], dtype='
2024-07-16 19:05:57
819
原创 神经网络实战笔记1设计并测试一个标准的前馈神经网络
是 PyTorch 的核心库，一个流行的开源机器学习库，广泛用于计算机视觉和自然语言处理领域的研究和生产中。它提供了强大的GPU加速的张量计算能力，同时包含了构建深度学习模型所需的各种工具和预训练模型。是一个非常重要的模块，它提供了用于构建神经网络的基础设施，包括各种层、损失函数、优化器等。：创建一个数据加载器，用于按指定的批量大小（64）加载数据，并在每个epoch开始时打乱数据顺序。：这是之前定义好的转换操作，用于对图像数据进行预处理，例如调整大小、转换为灰度图和张量化。用于从文件系统中加载图像数据。
2024-07-16 13:15:13
896
原创 基于星火大模型的群聊对话分角色要素提取挑战-baseline2，task4技术笔记4
回顾数据集，我们的训练集为130条，但如果只是130条做微调一个问题是数据量太少了，我们没法完全去微调我们的数据。function call可以设计出专门用来抽取的工具，相比于直接调用大模型，function call的优势在于可以稳定控制输出，得到需要的输出结构。当你处理复杂问题的时候，往往单独使用大语言模型无法直接完成你想要的内容，这里你可以试试做一个自己的agent。设计总结模型，首先训练出来一个总结的大模型，通过总结大模型稳定的抽取出关键信息减少其他信息干扰，然后再送入抽取的微调模型。
2024-07-15 15:00:58
219
原创 Function Call入门了解
需要注意的是，大模型的 Function call 不会执行任何函数调用，仅返回调用函数所需要的参数。开发者可以利用模型输出的参数在应用中执行函数调用。：函数提供了一种封装实现细节的方式，使得高层模块不需要了解底层的具体实现，只需通过函数接口进行交互。：在大型系统中，函数调用定义了模块之间的接口，明确了输入输出，有助于不同团队或组件之间的协作。：通过函数调用，开发者可以在不同的地方重用相同的代码逻辑，减少重复代码，提高开发效率。：在大型项目中，函数调用帮助将复杂的系统分解为更小、更易于管理的模块或组件。
2024-07-15 14:51:46
559
原创 AI Agent入门
Agent（智能体） = 一个设置了一些目标或任务，可以迭代运行的大型语言模型。这与大型语言模型（LLM）在像ChatGPT这样的工具中“通常”的使用方式不同。在ChatGPT中，你提出一个问题并获得一个答案作为回应。而Agent拥有复杂的工作流程，模型本质上可以自我对话，而无需人类驱动每一部分的交互。ChatGPT接收单一查询的输入并返回输出，它一次不能完成超过一个任务。而AI Agent则可以自驱的定义工作流程并规划任务进行解决。比如，如果你有一个天气插件，当用户问“NYC（纽约缩写）的温度是多少？
2024-07-15 14:33:23
994
原创 Prompt提示工程(入门）
其工作方式为：在对比有无使用CO-STAR框架下，可以发现大语言模型对于使用框架的prompt下的回答更加符合用户的需求，更具有针对性。
2024-07-07 17:38:57
435
原创 基于星火大模型的群聊对话分角色要素提取挑战-baseline2，task3技术笔记3
回到：https://training.xfyun.cn/dataset/datasetIndex。在main.ipynb的微调推理部分填入APPID、APIKey、APISecret（注意顺序）进入创建微调页面：https://training.xfyun.cn/model/add。基本配置与版本配置如下，我们选择性能比较好的Spark Pro模型~这期是关于模型的微调方面和如何使用讯飞的微调平台。我们使用前面的baseline2数据集。我们根据提示在平台上上传制作的数据集。到这里我们数据集就传好啦~
2024-07-06 19:32:03
267
原创 基于星火大模型的群聊对话分角色要素提取挑战-baseline2，task2技术笔记2
Task2基于前面task1没有学的特别懂的情况下，这次继续往下试着跟做并理解task2下面是赛题提供的解析和数据集接着我开始跟着task的提示做。
2024-07-06 15:06:19
750
原创 基于星火大模型的群聊对话分角色要素提取挑战-baseline1技术笔记
设计Prompt是一个需要不断实践和优化的过程，通过不断的测试和用户反馈，你可以逐渐提高Prompt的有效性。：设计Prompt时，考虑到不同用户可能的输入方式和模型的响应能力，使Prompt具有一定的适应性。在自然语言处理和机器学习中。：一个好的Prompt应该尽可能简洁，避免不必要的信息，这样可以帮助模型更快地理解任务并生成响应。：设计Prompt后，需要对其进行测试，观察模型的响应是否符合预期，并根据反馈进行调整。：确保Prompt的设计符合伦理标准和相关法规要求，避免引导模型生成不当或有害的内容。
2024-07-03 09:25:44
687
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人