![](https://img-blog.csdnimg.cn/0326e3c16b754ec19ef9a9b51367f79b.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习 | 深度学习
文章平均质量分 87
Machine Learning/ Deep Learning/ Artificial Intelligience
noobiee
一般路过的普通学生
展开
-
【机器学习】专栏内容导航+如何学习?
机器学习专栏内容导航,包含内容大纲整理和其他推荐的教材和学习路线原创 2023-05-16 17:17:35 · 653 阅读 · 0 评论 -
EM算法解析+代码
大纲数学基础:凸凹函数,Jensen不等式,MLEEM算法公式,收敛性HMM高斯混合模型一、数学基础1. 凸函数通常在实际中,最小化的函数有几个极值,所以最优化算法得出的极值不确实是否为全局的极值,对于一些特殊的函数,凸函数与凹函数,任何局部极值也是全局极致,因此如果目标函数是凸的或凹的,那么优化算法就能保证是全局的。定义1:集合Rc⊂EnR_c\subset E^nRc⊂En是凸集,如果对每对点x1,x2⊂Rc\textbf{x}_1,\textbf{x}_2\subset R_cx1原创 2023-10-30 01:46:20 · 764 阅读 · 0 评论 -
【机器学习】loss损失讨论
值需要设置成比 'Validation Error 开始上升 ’ 的值更小,1/2 处甚至更小,结果更优”,所以我仔细观察了下没有加 Flooding 模型损失值变化图,大概在 loss 为 0.75 到 1.0 左右的时候开始出现过拟合现象,因此我又分别设置了。一般来说,我们是用训练集来训练模型,但希望的是验证机的损失越小越好,而正常来说训练集的损失降到一定值后,验证集的损失就会开始上升,因此没必要把训练集的损失降低到 0。了,也就是说一开始就把梯度惩罚给加了进去,这样能提升模型的泛化性能吗?原创 2023-10-30 01:42:31 · 1515 阅读 · 1 评论 -
数据预处理、数据工程 + 代码
调整原始分布趋于正态分布1. 原因单变量正态性虽然不能保证多变量的正态性,但是它是有帮助的。并且一般解决了正态性问题的话,就可以解决异方差或者线性度的问题。而且很多模型假设数据服从正态分布后,它的样本均值和方差就相互独立,这样就能更好的进行统计推断和假设验证。2. 如何调整数据右偏的话可以对所有数据取对数、取平方根等,它的原理是因为这样的变换的导数是逐渐减小的,也就是说它的增速逐渐减缓,所以就可以把大的数据向左移,使数据接近正态分布。 如果左偏的话可以取相反数转化为右偏的情况。通常来..原创 2022-10-08 12:24:52 · 950 阅读 · 0 评论 -
混合专家模型 Mixture-of-Experts (MoE)
比如在MoE论文的一些实验中,作者采用了n=512,k=2的设定,也就是每次只会从512个专家网络中挑选两个来激活。每个专家模型都是相对独立的,可以根据任务的需求选择不同的模型架构。通过稀疏模型MoE扩大大语言模型的方法:以GLaM模型为例,它包含1.2T个参数,但实际上被激活的参数(activated parameters)只有97B,远少于GPT-3,也就是说,它是稀疏激活的MoE。第二个变动是加了noise,这个的目的是为了做均衡,这里引入了一个Wnoise的参数,后面还会在损失函数层面进行改动。原创 2023-10-22 05:59:17 · 4206 阅读 · 0 评论 -
人工神经网络ANN:数学总结
x0为S形曲线中点的x值;L为曲线的最大值;k为逻辑斯谛增长率或曲线的陡度。锚点样本正样本的负样本常见的径向基函数包括(原创 2023-09-24 05:58:06 · 237 阅读 · 0 评论 -
深度学习代码环境配置(编译器, git, anaconda)
w64devkit 是 Windows 平台下使用的一个 C/C++ 跨平台编译环境。它可以在 Windows 上编译出能够在多个平台上运行的程序,例如:Windows, Linux, macOS。w64devkit 包含了大量的开源工具链和库,如。最近复现代码时需要编译源文件,总是报错,后来查验报错原因后,是由于电脑没能安装GCC。C 语言编译器用于把源代码编译成最终的可执行程序。它可以提供一个强大的编译环境,使得 Windows 平台的程序员们能够更容易地开发跨平台的程序。安装python包或库。原创 2023-06-24 08:37:28 · 1156 阅读 · 0 评论 -
模型量化(Model Quantization)
模型量化(Model Quantization)通过某种方法。比如说原来的模型里面的权重(weight)都是float32,通过模型量化,将模型变成权重(weight)都是int8的定点模型IEEE标准中的FP16格式如下:取值范围是5.96× 10−8 ~ 65504,而FP32则是1.4×10-45 ~ 3.4×1038。从FP16的范围可以看出,用FP16代替原FP32神经网络计算的最大问题就是精度损失。原创 2023-08-27 00:42:40 · 722 阅读 · 0 评论 -
3d重建+神经渲染
从这些训练视点,渲染估计的3D场景,并最小化渲染图像和观察图像之间的差异,根据这些观察结果训练网络。与使用神经网络学习渲染函数的方法相反,NeRF在该方法中更明确地使用了计算机图形学的知识,由于(物理)归纳偏差,能够更好地概括新视图:场景密度和半径的中间3D结构化表示。因此,NeRF在3D空间中学习物理上有意义的颜色和密度值,物理激发的光线投射和体集成可以持续渲染到新视图中。在该架构中,首先提取深层的视觉图像特征,然后通过可微分的单应变换,基于参考视图的相机视锥体构建3D代价体。原创 2023-06-18 18:04:44 · 1677 阅读 · 0 评论 -
神经网络算法入门和代码(感知机,RBF,SOM等)
感知机(Perceptron)反向传播算法(Back Propagation algorithm)RBF(Radial Basis Function,径向基函数) 网络:单一层前馈网络,它使用径向基作为隐层神经元激活函数ART(Adaptive Resonance Theory,自适应谐振理论) 网络:竞争型学习无监督学习策略SOM(Self Organizing Map,自组织映射) 网络:竞争性学习型的无监督神经网络级联相关(Cascade-Correlation) 网络:结构自适应网络El原创 2023-04-04 10:30:06 · 2575 阅读 · 0 评论 -
Kaggle notebook使用技巧
从/kaggle/working/的输出下载文件执行代码后显存变化量检测使用python Garbage Collection清理运行内存垃圾重置运行内存原创 2023-03-31 16:51:27 · 1181 阅读 · 0 评论 -
图神经网络GNN
图是由一些点和一些线构成的,能表示一些实体之间的关系,图中的点就是实体,线就是实体间的关系。如下图,v就是顶点,e是边,u是整张图。attrinbutes是信息的意思,每个点、每条边、每个图都是有信息的。每个顶点、边和整张图都可以用一个向量来表示,在这个例子中,顶点的向量有六个值,柱体的高矮就表示该值的大小,每条边用一个长为8的向量来表示,全局用一个长为5的向量来表示。原创 2022-11-30 14:32:37 · 2009 阅读 · 0 评论 -
【机器学习】推荐系统
推荐模型如何进行推荐将取决于您拥有的数据类型。如果您只拥有过去发生的交互数据,您可能有兴趣使用协作过滤。如果您有描述用户及其与之交互过的物品的数据(例如,用户的年龄、餐厅的菜系、电影的平均评价),您可以通过添加内容和上下文过滤,对当前给定这些属性下新交互的可能性进行建模。推荐系统中最为主流与经典的技术之一是(Collaborative Filtering),它是基于这样的假设:用户如果在过去对某些项目产生过兴趣,那么将来他很可能依然对其保持热忱。原创 2022-11-28 09:39:22 · 2096 阅读 · 0 评论 -
X-former系列(Transformer大家族)
Transformer提出大致时间线:注意力机制:理想情况下,():可区别位置关系但无法区别前后关系():不同位置随机初始化可学习参数编码绝对位置编码展开:一个基于局部敏感哈希(LSH)的注意力模型,引入了可逆的Transformer层,有助于进一步减少内存占用量。模型的关键思想,是附近的向量应获得相似的哈希值,而远距离的向量则不应获得相似的哈希值,因此被称为“局部敏感”。这个模型通过使用基于核的自注意力机制、和矩阵产品的关联特性,将自注意力的复杂性从二次降低为线性。原创 2022-11-08 10:58:22 · 1660 阅读 · 1 评论 -
数据分析-时空分析
Knox方法基于临界空间和时间距离量化时空相互作用。测试统计量X是那些相距小于临界空间和时间距离的案例对的计数。当存在交互时,成对的案例将彼此接近,并且测试统计将很大。Knox设计了这种方法来考虑潜伏期。潜伏期是从暴露到症状出现之间的时间。如果你怀疑一种潜伏期为3天的疾病,将时间临界距离设置得足够长,以允许症状出现,比如4天或5天。 ST-DBSCAN 以地理位置距离作为半径,时间范围作为高,在空间画圆柱,进行密度聚类检测异常点。使用KDTree,BallTree,Faiss进行近邻检索加速。原创 2022-10-21 09:26:03 · 1834 阅读 · 0 评论 -
PySpark入门
1,通过pyspark进入pyspark单机交互式环境。这种方式一般用来测试代码。也可以指定jupyter或者ipython为交互环境。2,通过spark-submit提交Spark任务到集群运行。这种方式可以提交Python脚本或者Jar包到集群上让成百上千个机器运行任务。这也是工业界生产中通常使用spark的方式。3,通过zepplin notebook交互式执行。zepplin是jupyter notebook的apache对应产品。4, Python安装findspark和pyspark库原创 2022-10-13 12:13:09 · 8105 阅读 · 0 评论 -
深度学习上采样算子
其中,x坐标是对输入数据X的第四个维度(宽度维度)的索引,y坐标是第三维度(高维度)的索引,最终输出采样值为采样点的4个最接近的角点的双线性插值结果,输出张量的shape为[N, C, H, W]。对于一部分网络模型来讲,上采样和下采样的结构往往是对称的,我们可以在下采样做Max Pooling的时候记录下来最大值所在的位置,当做上采样的时候把最大值还原到其对应的位置,然后其余的位置补0,如下图所示。转置卷积应该是上采样力度最大的,所以有些时候的结果看起来会不太真实。:GAN,分割,超分。原创 2022-09-22 09:47:44 · 733 阅读 · 0 评论 -
sklearn速览
Sklearn全称Scikit-learn。它涵盖了分类、回归、聚类、降维、模型选择、数据预处理六大模块,降低机器学习实践门槛,将复杂的数学计算集成为简单的函数,并提供了众多公开数据集和学习案例。scikit-learn 是基于 Python 语言的机器学习工具简单高效的数据挖掘和数据分析工具可供大家在各种环境中重复使用建立在 NumPy ,SciPy 和 matplotlib 上开源,可商业使用 - BSD许可证原创 2022-09-19 22:16:46 · 349 阅读 · 0 评论 -
深度学习生成模型:GAN | 自编码器 | 扩散模型
将假的和真的数据都给判别器,优化判别模型。然后训练生成器,具体做法就是固定判别器的参数,通过反向传播优化生成器的参数,希望它得到数据在经过判别器后结果尽可能地接近1,这时只需要通过调整损失函数就可以了。可以自己去构造隐藏向量,生成任意图片,只需要给它一个标准正态分布的随机隐含向量,通过解码器就能够生成想要的图片,而不需要给它一个原始的图片。到一个编码,再通过一个神经网络去解码得到一个与输入原始数据一模一样的生成数据,然后通过比较这两个数据去最小化它们之间的差异来训练编码器和解码器的参数。原创 2023-03-28 17:39:11 · 2099 阅读 · 0 评论 -
【机器学习】异常检测
异常检测实际案例:网络安全中的攻击检测,金融交易欺诈检测,疾病侦测,和噪声数据过滤等。时间序列的异常又分为点异常和模式异常。对于一个新观测值进行判断: 离群点检测: 训练数据包含离群点,即远离其它内围点。离群点检测估计器会尝试拟合出训练数据中内围点聚集的区域, 会忽略有偏离的观测值。 新奇点检测: 训练数据未被离群点污染,我们对新观测值是否为离群点感兴趣。在这个语境下,离群点被认为是新奇点。离群点检测 也被称之为 无监督异常检测; 而 新奇点检测 被称之为 半监督异常检测。 在离群点检原创 2022-10-28 11:48:50 · 8677 阅读 · 2 评论 -
机器学习损失函数 / 激活函数 / 优化算法 总览
关键词:交叉熵,KL散度(相对熵),BCELoss,Contrastive loss,triplet loss,n-pair loss,focal losssigmoid,tanh,ReLU,PReLU,ELU,GeLUBGD,SGD,momentum,NAG,AdaGrad,RMSprop,Adam,AdamW原创 2022-08-26 15:18:08 · 2208 阅读 · 0 评论 -
机器学习算法- 数据分析、数据挖掘、算法
聚类分析又叫群分析,是对多个样本(或指标)进行定量分类的一种多元统计分析方法。对样本进行分类称为Q型聚类分析,对指标进行分类称为R型聚类分析。1. 算法K-means聚类、K-中心点聚类、CLARANS算法(基于随机选择), DIANA算法(自顶向下层次聚类算法)、BIRCH算法、Chameleon算法EM算法 (最大期望算法)OPTICS算法、DBSCAN算法 (基于密度)2. 聚类原理2.1. 相似性衡量(similarity measurement)(1)距离。......原创 2022-08-08 16:07:53 · 1555 阅读 · 0 评论 -
机器学习CV领域入门
PIL,OpenCV,Blob分析,STN网络,滤波器,插值,RandAugment,SIFT算法ImageFilter模块提供了滤波器相关定义;这些滤波器主要用于Image类的filter()方法。2.0 代码演示imread。原创 2022-08-31 13:38:36 · 1597 阅读 · 0 评论 -
AI产品笔记 / AI学习类型总结
机器学习类型机器学习类型1.有监督学习Supervisedlearning从标签化训练数据集中推断出函数,包括(最常见为)2.无监督学习UnsupervisedLearning无标签的数据学习数据的分布或者数据之间的关系,包括()深度学习自监督学习半监督学习属于弱监督学习,弱监督大概分为三类3.半监督学习Semi-supervisedlearning既有有标记数据,又有无标记数据,一般无标记数据的数量远大于有标记数据。3.1半监督学习三大基本假设3.2、、DQN。............原创 2022-07-19 07:37:52 · 1126 阅读 · 0 评论 -
不同卷积方法一览(+部分代码)
2D/3D/1x1/转置/扩张(Atrous)/空间可分/深度可分/平展/分组/混洗分组卷积假设输入层的大小是7×7×3(高×宽×通道),而过滤器的大小是3×3×3。经过与一个过滤器的2D卷积之后,输出层的大小是5×5×1(仅有一个通道)。使用多个过滤器就会有多个通道。3D卷积是2D卷积的泛化。下面就是3D卷积,其过滤器深度小于输入层深度(核大小..................原创 2022-07-27 10:41:13 · 1452 阅读 · 0 评论 -
机器学习模型评估指标
Ⅰ. 分类问题常用 精度 Accuracy 混淆矩阵 查准率(准确率) 查全率(召回率) PR曲线与AP、mAP F值 ROC曲线与AUC值Ⅱ. 回归拟合 R2决定系数 平均绝对误差(MAE mean absolute error) 均方误差(MSE mean squared error) 均方根误差(RMSE root mean squared error)Ⅲ. 聚类模型评估1. 簇内误差平方和SSE....原创 2022-05-27 15:47:53 · 2889 阅读 · 0 评论