qq_61694719的博客

原创 多头注意力机制(Multi-Head Self-Attention)

允许注意力机制组合使用Query、Key和Value的不同子空间表示可能有益的。先利用独立学习得到的h组不同的线性投影来变换Query、Key和Value；然后，将这h组变换后的Query、Key和Value并行送到注意力汇聚中；最后，将这h个注意力汇聚的输出拼接在一起，并且通过另一个可以学习的线性投影进行变换，来输出最终的结果。

原创 6种典型攻击

梯度反演攻击的主要思想是利用模型训练过程中交换的梯度信息，通过优化技术重建出参与训练的原始数据。是一种针对人工智能（AI）系统的训练数据进行恶意篡改的行为，其目的是让训练出的AI模型在预测时产生错误的输出，从而影响模型的决策和性能。模型内存泄漏是指在模型训练过程中，由于不正确的内存管理，导致内存无法释放，进而影响训练效率和模型性能的问题。尽管已有一些防御方法被提出，但梯度反演攻击的研究仍然在不断进展，攻击者可能会开发出新的攻击技术来绕过现有的防御措施。

原创 强化学习基础知识

动作价值函数 Q(s,a)Q(s,a) 定义为在状态 ss 下采取动作 aa 并遵循某个策略 ππ 所能获得的期望回报。数学上，它可以表示为：其中，RtRt​ 是在时间步骤 tt 采取动作后获得的即时奖励，StSt​ 和 AtAt​ 分别是在时间步骤 tt 的状态和动作。

原创 机器学习中常用的几种距离

L1距离，也称为曼哈顿距离（Manhattan Distance）或城市街区距离（City Block Distance），是一种度量两个点在标准坐标系上的绝对轴距总和的距离度量方法。L2距离，也称为欧几里得距离（Euclidean Distance），是度量两点在欧几里得空间中直线距离的一种方法。其中，n 是维度的数量，pi 和 qi 分别是点 P 和 Q 在第 i 维上的坐标。其中，n 是维度的数量，pi 和 qi分别是点 P和 Q在第 i 维上的坐标。

原创 TypeError: ‘(slice(None, None, None), slice(0, 3, None))‘ is an invalid key

报错原因：df在这里的类型是dataframe，dataframe格式的数据不能直接用数组的形式提取。 解决方式:用df.iloc[：，：]，就可以解决以上问题。

原创 如何解决过拟合和欠拟合

(3)正则化：获取更多数据，从数据源获得更多数据，或数据增强。(1)数据处理：1、清洗数据，2、降维，3、类别平衡。融合几个具有差异的弱模型，使其成为一个强模型；即提供的特征不能表示出那个需要的函数；即使得模型复杂一些；

原创 梯度下降法和牛顿迭代法

在用到机器学习的算法中，本质是建立优化模型，通过最优化方法对目标函数或者损失函数进行优化，从而训练出最好的模型。一般最常见的最优化方法有梯度下降法、牛顿迭代法。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步长越小，前进越慢。 梯度下降法缺点：1）靠近极小值时收敛速度减慢；2）直线搜索时可能会产生一些问题；3）可能会“之字形”地下降。 用一个二次函数去近似目标函数f(x)，然后精确地求出这个二次函数的极小点。

原创 什么是卷积，什么是卷积神经网络。

卷积：“卷”表示函数的翻转或图像的翻转；“积”表示积分/加权求和。卷积是将卷积核应用到某个张量的所有点上，通过将卷积核在输入的张量上滑动而生成滤波处理的张量。通俗一点讲卷积是对图像特征提取或者信息匹配。卷积神经网络：是通过模拟人脑视觉系统，采取卷积层和池化层依次交替的模型结构，卷积层使原始信号得到增强，提高信噪比，池化层利用图像局部相关性原理，对图像进行邻域间采样，在减少数据量的同时提取有用信息，同时参数减少和权值共享使得系统训练时间长的问题得到改善。

原创 报错原因：TypeError: ‘NoneType‘ object is not subscriptable

报错原因 ：class是一个对象，将它实例化后，便可以直接调用对象里面的函数。解决方案：删除run后面的()

原创 ui文件转换成py文件

在该文本路径下生产了相应的py文件

原创 贝叶斯定理

P(B|A) 是条件概率的符号，表示事件 A 发生的条件下，事件 B 发生的概率，这可以看作一个条件概率，条件概率是“贝叶斯公式”的关键之处，这个计算结果可以看成“先验概率”。P(A) 这是概率中最基本的符号，表示 A 出现的概率。比如在投掷一枚骰子时，P(3) 指的是骰子出现数字“3”的概率，这个概率是 六分之一。P(A|B) 是条件概率的符号，表示事件 B 发生的条件下，事件 A 发生的概率，这个计算结果可以看成“后验概率”。

原创 MPLS的工作原理

由控制平面（Control Plane）和转发平面（Forwarding Plane）组成。由标签交换路由器LSR组成。

原创 NAT原理（计算机网络）

NAT（Network Address Translation）是指网络地址转换。其可以实现在专用网的主机与在因特网的主机之间建立通信。

原创 报错原因：AttributeError: ‘Series‘ object has no attribute ‘iter‘

由于’pandas‘库的’series‘对象不支持’iter‘属性，因此无法使用’iter_rows‘方法。：我们可以通过直接访问’pandas‘库的’DataFrame‘对象的行来实现相同的效果。

原创 报错类型 PermissionError: [Errno 13] Permission denied: ‘D:\XXX\XXX.xlsx‘

报错原因：该文件已经被打开，不能够进行操作。“打开”是这个excel正在被其他的文件占用打开。解决方法：把excel关闭就可以进行保存后面的操作了。

原创 安装d2l报错：ERROR: Could not install packages due to an OSError: [WinError 5] 拒绝访问。: ‘D:\\应用程序\\python\\

出现以下报错：报错原因：pip安装模块的权限不够导致安装失败。解决方案：在原先安装的语句后加是“--user”，问题解决。

原创 图---关键路径

说明：关键路径是解决完成一个工程所需的最少代价的问题。AOE网：是指在一个表示工程的带权有向图中，用顶点表示事件，用有向边表示活动，用边上的权值表示活动的持续时间。路径长度：路径上各个活动所持续的时间之和。关键路径：从源点到汇点具有最大长度的路径。关键活动：当所有活动的最早开始时间和最晚开始时间相等时，此时的活动称为关键活动。【下图是判断ak是否为关键活动步骤.】 总结：

原创 有向无环图------AOV网(拓扑排序)

用DAG图表示一个工程，顶点表示活动，有向边表示活动的执行顺序。

原创 python读取DataFrame类型文件

原创 报错提示：OSError: [Errno 22] Invalid argument: ‘D:\\KeDa\\试题\\第二题\x01\\段落.txt‘

x01\\\

原创 信息论与编码

信道编码是以信息在信道上的正确传输为目标的编码，主要分为两个层次：1.如何正确接收载有信息的信号；2.如何避免少量差错信号对信息内容的影响。提示：这里对文章进行总结：例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

原创 机器学习

随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。