深度学习机器学习
文章平均质量分 66
深度学习
XD742971636
博主恰饭文档https://docs.qq.com/sheet/DUEdqZ2lmbmR6UVdU
展开
-
【深度学习】 探讨Stable Diffusion模型的训练及其偏向性
Stable Diffusion模型基于扩散过程,通过一系列的反向扩散步骤生成图像。这一过程类似于去噪自编码器,通过从噪声中逐步恢复图像细节,最终生成高质量的图像。然而,模型的生成效果高度依赖于训练数据的质量和多样性。简而言之,模型“见过”什么样的数据,它就更擅长生成什么样的数据。原创 2024-06-20 12:18:33 · 372 阅读 · 0 评论 -
【深度学习】sdwebui A1111 加速方案对比,xformers vs Flash Attention 2
安装pytorch 2.2以上,启用sdpa(–opt-sdp-no-mem-attention,就可以不用安装xformers 了。Flash Attention 2 是 Flash Attention 的改进版本,它提供了更高的性能和更好的并行性。pytorch2.2版本的 F.scaled_dot_product_attention() 即是Flash Attention 2。写真,A10,1张图,生图换脸一套时间,25秒。写真,A10,2张图,生图换脸一套时间,46秒。原创 2024-06-19 14:34:39 · 794 阅读 · 0 评论 -
【深度学习】FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness【二】
提出 FlashAttention 算法FlashAttention 是一种 IO 感知的精确注意力算法,通过分块技术减少了 GPU 高带宽内存(HBM)与 GPU 片上 SRAM 之间的内存读写次数。该算法通过避免对大型中间注意力矩阵的读写,显著减少了 HBM 访问次数。IO 复杂度分析论文详细分析了 FlashAttention 的 IO 复杂度,证明其在减少 HBM 访问次数方面比标准注意力算法更高效。原创 2024-06-18 18:37:58 · 833 阅读 · 0 评论 -
【深度学习】FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness【一】
Transformers 在长序列上运行缓慢且内存需求高,因为自注意力的时间和内存复杂度是序列长度的平方。近似注意力方法试图通过牺牲模型质量来减少计算复杂度,但通常无法实现实际的速度提升。我们认为缺失的原则是使注意力算法具备 IO 感知能力——考虑在 GPU 内存级别之间的读写操作。我们提出了 FlashAttention,一种 IO 感知的精确注意力算法,它使用分块技术来减少 GPU 高带宽内存(HBM)和 GPU 片上 SRAM 之间的内存读写次数。原创 2024-06-18 17:55:08 · 619 阅读 · 0 评论 -
【深度学习】TensorRT模型转换环境
要在 Ubuntu 22.04 LTS 上使用 TensorRT 将模型转换为 TensorRT 格式,您需要安装一些必要的环境和依赖项。如果以上步骤均成功完成,您应该可以在 Ubuntu 22.04 上使用 TensorRT 将模型转换为 TensorRT 格式并运行推理任务。原创 2024-06-18 15:11:22 · 784 阅读 · 0 评论 -
【深度学习】stable-diffusion-webui AUTOMATIC1111 的参数解释翻译
【代码】【深度学习】stable-diffusion-webui AUTOMATIC1111 的参数解释翻译。原创 2024-06-18 14:39:09 · 868 阅读 · 0 评论 -
【深度学习】GPT-3,Language Models are Few-Shot Learners(一)
最近的研究表明,通过在大规模文本语料库上进行预训练,然后在特定任务上进行微调,可以在许多NLP任务和基准上取得显著的进展。虽然这种方法在结构上通常是任务无关的,但仍然需要数千或数万个示例的任务特定微调数据集。相比之下,人类通常可以通过少量示例或简单指令来执行新的语言任务,而当前的NLP系统在这方面仍然存在很大困难。在这里,我们展示了扩大语言模型的规模大大改善了任务无关的少量示例学习的性能,有时甚至达到了与之前的最先进的微调方法竞争的水平。原创 2024-06-18 10:45:32 · 1008 阅读 · 0 评论 -
【深度学习】GPT-2,Language Models are Unsupervised Multitask Learners,【语言建模】
自然语言处理任务,如问答、机器翻译、阅读理解和摘要生成,通常通过在特定任务的数据集上进行监督学习来实现。我们展示了当在一个包含数百万网页的新数据集WebText上进行训练时,语言模型在没有任何明确监督的情况下开始学习这些任务。以文档加问题作为条件,语言模型生成的答案在CoQA数据集上达到了55 F1分数——在没有使用超过127,000个训练样例的情况下,匹配或超过了四个基线系统中的三个系统的表现。语言模型的容量对零样本任务转移的成功至关重要,并且随着容量的增加,任务的表现以对数线性方式提高。原创 2024-06-17 23:34:12 · 700 阅读 · 0 评论 -
【深度学习】GPT1,提高语言理解的生成预训练方法
自然语言理解包含了一系列多样的任务,例如文本蕴涵、问答、语义相似度评估和文档分类。尽管有大量未标记的文本语料库,但用于学习这些特定任务的标记数据稀缺,使得仅靠判别训练模型难以表现出色。我们展示了通过在多样的未标记文本语料上进行生成预训练,然后在每个特定任务上进行判别微调,可以在这些任务上实现显著的提升。与以往的方法相比,我们在微调过程中使用任务感知的输入转换,既能实现有效的迁移,又只需对模型架构做最小的改动。我们在广泛的自然语言理解基准测试中证明了我们方法的有效性。原创 2024-06-17 22:43:06 · 1224 阅读 · 2 评论 -
【深度学习】GELU激活函数是什么?
应用 GELU 激活函数。GELUxx⋅ΦxGELUxx⋅Φx其中Φx\Phi(x)Φx是标准正态分布的累积分布函数。原创 2024-06-17 17:45:41 · 991 阅读 · 0 评论 -
【机器学习】MSE和MAE损失函数有什么区别?回归问题的常用损失函数
误差处理方式MSE 使用平方处理误差,对大误差更加敏感。MAE 使用绝对值处理误差,对所有误差均一对待。异常值影响MSE 受到异常值的显著影响。MAE 对异常值的影响较小,更加鲁棒。优化和求导MSE 的平方性质使其导数在很多优化算法中计算更为简便。MAE 的绝对值使其在某些优化过程中可能不如 MSE 简单,但在一些鲁棒优化问题中更加有效。原创 2024-06-17 09:51:11 · 1022 阅读 · 0 评论 -
【深度学习】解析Vision Transformer (ViT): 从基础到实现与训练
定义ViT模型并将其移动到GPU上。# VisionTransformer定义(使用上面的定义)# 损失函数和优化器# 如果有多个GPU,使用DataParallel这段代码展示了如何使用PyTorch在GPU上训练Vision Transformer模型。包括数据加载、模型定义、训练和评估步骤。请根据你的实际需求调整批量大小、学习率和训练轮数等参数。原创 2024-06-16 12:00:21 · 851 阅读 · 0 评论 -
【深度学习】TCN,An Empirical Evaluation of Generic Convolutional【二】
膨胀卷积(Dilated Convolution),也称为空洞卷积(Atrous Convolution),是在标准卷积的基础上通过引入膨胀因子(dilation factor)来扩展感受野,而不增加参数数量或计算复杂度。膨胀卷积通过在滤波器的每两个元素之间插入空洞(即,零值)来实现这一点。原创 2024-06-16 11:10:40 · 1135 阅读 · 0 评论 -
【深度学习】TCN,An Empirical Evaluation of Generic Convolutional【一】
对于大多数深度学习从业者来说,序列建模几乎是循环网络的同义词。然而,最近的研究结果表明,在音频合成和机器翻译等任务上,卷积架构可以超越循环网络。面对新的序列建模任务或数据集时,应该选择哪种架构呢?我们对通用的卷积和循环架构进行了系统评估。模型在一系列常用于基准测试循环网络的标准任务上进行了评估。我们的结果表明,简单的卷积架构在多种任务和数据集上优于经典的循环网络(如LSTMs),并表现出更长的有效记忆。我们得出结论,序列建模与循环网络的常见关联应重新考虑,卷积网络应被视为序列建模任务的自然起点。原创 2024-06-16 10:22:54 · 759 阅读 · 0 评论 -
gcn+tcn+transformer入侵检测
的公式实际上是图卷积网络(GCN)层的核心操作。原创 2024-06-15 13:19:17 · 1132 阅读 · 0 评论 -
【深度学习】 深入浅出:人脸识别技术的步骤、实现与匹配方法,如何进行人脸识别?
Partial FC 通过类别采样减少了计算和内存的负担,是在大规模人脸识别任务中常用的技术。上面的示例代码展示了如何在 PyTorch 中实现 Partial FC。如果有进一步的问题或需要更多细节,请随时告诉我。上述技术和工具提供了高效的特征向量存储和匹配功能,可以根据你的应用场景和数据规模选择合适的工具。归一化后的向量,使得它们的范数都为1,此时,欧几里得距离和余弦相似度之间的关系可以通过上述公式推导得出。这说明在这种情况下,欧几里得距离与余弦相似度是等价的,两者可以相互转换。原创 2024-06-14 17:36:30 · 865 阅读 · 0 评论 -
【深度学习】Diffusers Utilities load_image
这个函数load_imagestrhttp://https://原创 2024-06-14 15:45:59 · 256 阅读 · 0 评论 -
【深度学习】stable-diffusion-3,SD3生图体验
代码地址:原创 2024-06-14 14:50:00 · 379 阅读 · 0 评论 -
【数学】【机器学习】什么是隐马尔可夫模型 (HMM)?
隐含变量(Hidden Variables)在隐马尔可夫模型(HMM)中指的是那些不能直接观察到但对系统行为产生影响的状态。它们是隐藏在观测数据背后的真实状态。原创 2024-06-14 11:34:45 · 737 阅读 · 0 评论 -
【深度学习】深入解码:提升NLP生成文本的策略与参数详解
解码策略和解码参数在自然语言处理(NLP)模型的生成过程中起着不同的作用,但它们共同决定了生成文本的质量和特性。原创 2024-06-13 18:08:01 · 945 阅读 · 0 评论 -
深入理解 EulerDiscreteScheduler 在扩散模型中的应用与实现
在扩散模型中,我们有一个前向过程(逐步向数据添加噪声)和一个反向过程(逐步去除噪声以恢复原始数据)。使用欧拉方法来近似计算这个反向过程的每一步。具体来说,假设我们从一个完全是噪声的图像开始,我们希望通过多个步骤逐步去除噪声,使其逼近原始图像。调度器的作用就是在每一步计算出如何调整当前的噪声图像,以使其更接近原始图像。原创 2024-06-13 15:24:54 · 847 阅读 · 0 评论 -
【深度学习】风格迁移,InstantStyle,Free Lunch towards Style-Preserving in Text-to-Image Generation
Tuning-free diffusion-based models 在图像个性化和定制化领域展现了显著的潜力。然而,尽管取得了显著进展,目前的模型在生成风格一致的图像方面仍然面临一些复杂的挑战。首先,风格的概念本质上是不确定的,涵盖了诸多元素,如颜色、材料、氛围、设计和结构等。其次,基于inversion的方法容易导致风格退化,常常导致细粒度细节的丧失。最后,基于adapter的方法通常需要对每个参考图像进行精细的权重调整,以在风格强度和文本可控性之间实现平衡。原创 2024-06-13 14:57:38 · 550 阅读 · 0 评论 -
【深度学习】Precision、Accuracy的区别,精确率与准确率:深度学习多分类问题中的性能评估详解
准确率表示模型总体的预测正确率。精确率表示模型在预测某一特定类别时的准确性。在不平衡数据集上,准确率可能会因为多数类的样本占比高而显得较高,而精确率则能更好地反映模型在少数类上的表现。因此,在实际应用中,通常需要结合多种指标来全面评估模型性能。原创 2024-06-13 11:08:00 · 1261 阅读 · 0 评论 -
【深度学习】IP-Adapter 和 InstantID 的核心机制比较
IP-Adapter通过解耦的交叉注意力机制实现文本与图像提示的结合,使得图像提示和文本提示可以协同工作。InstantID通过提取面部 ID 嵌入和设计 IdentityNet,结合面部图像、地标图像和文本提示,实现高保真度的面部身份保留生成。原创 2024-06-12 15:04:01 · 834 阅读 · 0 评论 -
【网络安全】【深度学习】【入侵检测】SDN模拟网络入侵攻击并检测,实时检测,深度学习【二】
以通过 Alt+F2 然后输入 xterm 尝试打开xterm。这之后就可以用Ctrl+Alt+T打开新终端了。在之前的代码中,已经捕获到攻击流量并打印。原创 2024-06-12 00:09:33 · 854 阅读 · 0 评论 -
决策树算法详解:ID3、C4.5 和 CART 的原理与实现
决策树是一种常用的监督学习方法,广泛应用于分类和回归任务。它通过一系列的分割规则,将数据集分成更小的子集,最终形成一个树形结构。每个节点代表一个特征,每个分支代表该特征的一个可能值,每个叶节点代表一个类或回归值。ID3:使用信息增益选择特征。C4.5:使用信息增益率选择特征,以避免信息增益的偏好。CART:使用基尼指数(分类)或均方误差(回归)选择特征。每种决策树算法在不同的应用场景中有不同的优势,选择哪种算法取决于具体任务和数据特征。希望本文能帮助你更好地理解决策树算法及其实现。原创 2024-06-11 16:08:33 · 1032 阅读 · 0 评论 -
【深度学习】【Prompt】使用GPT的一些提示词
【代码】【深度学习】【Prompt】原创 2024-06-11 11:34:38 · 323 阅读 · 0 评论 -
【深度学习】AI换脸,EasyPhoto: Your Personal AI Photo Generator【一】
稳定扩散Web UI(Stable Diffusion Web UI,简称SD-WebUI)是一个综合项目,它基于Gradio库为稳定扩散模型提供了一个浏览器界面。本文提出了一款新颖的WebUI插件——EasyPhoto,旨在实现AI人像生成。通过使用5到20张相关图片对特定用户ID的数字替身进行训练,根据训练得到的LoRA模型进行微调后,该模型能够利用任意模板生成AI照片。当前实现支持多人的修改及不同照片风格的应用。原创 2024-06-11 11:29:04 · 1296 阅读 · 3 评论 -
【深度学习】【NLP】Bert理论,代码
BERT (Bidirectional Encoder Representations from Transformers) 是一个由Google开发的自然语言处理预训练模型。BERT在多个NLP任务中取得了显著的效果,主要因为它能够利用句子中所有单词的上下文信息进行训练和预测。下面从公式和代码两个角度进行讲解。BERT 的输入由三个嵌入层组成:输入向量表示为:Input=Token Embedding+Segment Embedding+Position Embedding\text{Input} =原创 2024-06-11 10:03:05 · 1223 阅读 · 0 评论 -
【深度学习】NLP,Transformer讲解,代码实战
来看一下Transformer结构。整个编码器层,在Transformer中可能是有多个的。经过LLLHPExHPEx。原创 2024-06-10 18:56:40 · 1231 阅读 · 0 评论 -
【网络安全】【深度学习】【入侵检测】SDN模拟网络入侵攻击并检测,实时检测,深度学习【一】
Mininet: 主要用于创建和模拟虚拟网络拓扑,适合于网络实验和研究。Ryu: 主要用于开发和运行 SDN 控制器,用于管理和控制网络设备。这两个工具通常可以结合使用:使用 Mininet 模拟网络环境,使用 Ryu 作为 SDN 控制器来管理模拟网络中的设备和流量。原创 2024-06-09 21:36:02 · 1631 阅读 · 4 评论 -
【深度学习】Transformer分类器,CICIDS2017,入侵检测,随机森林、RFE、全连接神经网络
随着网络攻击的日益猖獗,保护网络安全变得愈发重要。传统的入侵检测系统(IDS)在应对复杂和多变的攻击模式时显得力不从心。为了应对这一挑战,我们提出了一种基于Transformer的入侵检测系统,以提高检测精度和鲁棒性。入侵检测系统(IDS)是一种监控网络流量、识别和响应潜在安全威胁的工具。它们通过分析流量模式来检测异常行为,从而保护网络安全。然而,随着攻击技术的不断进化,传统的IDS面临着识别新型和复杂攻击的挑战。原创 2024-06-09 00:27:14 · 961 阅读 · 0 评论 -
【深度学习】CICIDS 2019,入侵检测,SVM支持向量机,随机森林,DNN训练,混淆矩阵
cicids2019数据集训练原创 2024-06-08 21:05:58 · 373 阅读 · 0 评论 -
【深度学习】PuLID: Pure and Lightning ID Customization via Contrastive Alignment
我们提出了一种新颖的、无需调整的文本生成图像ID定制方法——Pure and Lightning ID customization(PuLID)。通过将Lightning T2I分支与标准扩散分支结合,PuLID引入了对比对齐损失和准确ID损失,最大程度地减少了对原始模型的干扰,确保了高ID保真度。实验表明,PuLID在ID保真度和可编辑性方面都表现出色。PuLID的另一个吸引人的特性是,在插入ID前后,图像的元素(例如背景、光照、构图和风格)尽可能保持一致。原创 2024-06-06 16:25:34 · 912 阅读 · 0 评论 -
【深度学习】安全帽检测,目标检测,Faster RCNN训练
├── validation.py: 利用训练好的权重验证/测试数据的COCO指标,并生成record_mAP.txt文件。├── train_resnet50_fpn.py: 以resnet50+FPN做为backbone进行训练。├── train_mobilenet.py: 以MobileNetV2做为backbone进行训练。├── predict.py: 简易的预测脚本,使用训练好的权重进行预测测试。├── train_multi_GPU.py: 针对使用多GPU的用户使用。原创 2024-06-05 20:48:24 · 1375 阅读 · 0 评论 -
【深度学习】目标检测,Faster-RCNN算法训练,使用mmdetection训练
emmmm,,这mmdetection的配置文件的方式真老火啊,例子不太多,算了,节约时间,直接用别的代码,就此打住。在 Pascal VOC 数据集上测试 Faster R-CNN,不保存测试结果,测试 mAP。为了便于测试,下载数据集。原创 2024-06-05 11:52:12 · 398 阅读 · 0 评论 -
【深度学习】【机器学习】支持向量机,网络入侵检测,KDD数据集
原始数据 0,tcp,private,S0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,123,6,1,1,0,0,0.05,0.07,0,255,26,0.1,0.05,0,0,1,1,0,0,neptune,19。之前介绍过用深度学习做入侵检测,这篇用向量机。预测结果转换为字符串是 [‘neptune’]会得到一些模型文件和图像。环境Python3.10。预测结果是 [14]原创 2024-06-04 17:00:25 · 586 阅读 · 1 评论 -
【深度学习】【STWave】时空图预测,车流量预测,Efficient Spectral Graph Attention Network
交通流量预测对于公共安全和资源优化至关重要,但面临三大挑战:1) 当前工作大多在一个模型中利用复杂的时序模式(如短期雷阵雨和长期日常趋势),无法在不同模式下准确捕捉时空依赖性;2) 图位置编码的探索不足限制了全图注意力网络中空间信息的提取;3) 全图注意力的二次复杂度引入了沉重的计算需求。为实现有效的交通流量预测,我们提出了一种高效的谱图注意力网络,该网络包含解耦的交通序列。具体而言,利用离散小波变换从交通序列中获得低频和高频成分,这些成分能反映长短期模式的时序特征。原创 2024-06-01 19:57:23 · 935 阅读 · 0 评论 -
【深度学习】【STD-MAE】交通流量预测,时空图预测,Spatial-Temporal-Decoupled Masked Pre-training for Spatiotemporal
时空序列预测的难点在于其复杂的时空异质性,而当前端到端模型由于输入长度的限制,常陷入“时空幻象”问题,即相似的输入时间序列可能跟随截然不同的未来值,反之亦然。我们通过在六个广泛使用的基准数据集(包括PEMS03、PEMS04、PEMS07、PEMS08、METR-LA和PEMS-BAY)上进行的一系列定量和定性评估,验证了STD-MAE的先进性能。此外,STD-MAE的核心创新在于其空间-时间解耦机制,这不仅有助于模型捕捉和表达复杂的时空模式,还能有效地处理长序列输入,避免了传统模型中的“时空幻象”效应。原创 2024-06-01 15:51:47 · 327 阅读 · 0 评论 -
【深度学习】安全帽检测,目标检测,yolov10算法,yolov10训练
听说过yolov10吗:https://www.jiqizhixin.com/articles/2024-05-28-7。原创 2024-05-31 01:11:04 · 854 阅读 · 1 评论