sunny0121的博客

原创 网络安全场景中的AI应用

仓库中记录了一些网络安全场景中AI应用的前沿论文（主要是web攻击检测）、AI竞赛等，会不定时更新。

原创 大模型推理：vllm多机多卡分布式本地部署

ubuntu中采用docker和vllm进行多机多卡大模型本地部署

原创 deepspeed docker集群实现多机多卡训练----问题记录及解决方案资源汇总

docker集群中实现多机多卡分布式训练所遇到的问题及解决方法

原创 vllm部署大模型出现NameError: name ‘vllm_ops‘ is not defined问题

vllm部署大模型出现NameError: name 'vllm_ops' is not defined问题的原因及解决办法

原创 Ubuntu Nvidia Docker单机多卡环境配置

ubuntu版本是22.04，现在最新版本是24.xx，截止当前，Nvidia的驱动最高还是22.04版本，不建议更新至最新版本。本部分是从0开始安装Nvidia docker的记录，若已安装Nvdia驱动，请直接跳至3。

原创 【XSS_MSN】基于GCN的web攻击Payload识别与可解释性分析

论文选用GCN进行web payload攻击特征提取，并在可解释性方面进行了分析

原创 深度学习基础

理论基础 人工智能全国信息安全标准化技术委员会：人工智能，是利用数字计算机或者数字计算机控制的机器模拟、延伸 和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理 论、方法、技术及应用系统。分类：弱人工智能、强人工智能、超级人工智能 三次浪潮： 第一次：1956~1980年左右（诞生---基于符号逻辑推理证明阶段） 第二次：1980年左右 ~2000年左右（步入产业化----基...

转载 (干货)五种知网文献免费下载方式

# 好物搬运工，感谢楼主的分享，希望对大家有帮助链接：https://blog.csdn.net/weixin_40962970/article/details/88540343

原创 pytho学习记录（持续学习，有优质的python学习资料欢迎留言推荐）

python学习记录1、静态方法、类防范、实例https://www.cnblogs.com/geogre123/p/10142510.html

原创 Suricata IDS 规则语法开发参考

Suricata IDS 规则语法开发参考快速入门教程：https://blog.csdn.net/wuyangbotianshi/article/details/44775181入门教程：https://zhuanlan.zhihu.com/p/37173608官方教程：https://suricata.readthedocs.io/en/suricata-5.0.1/rules/header-keywords.html...

原创 MAC OS: LightGBM安装（os error ：.... image not found）

** MAC OS: LightGBM安装 **在mac下使用pip3 install LightGBM 安装lightgbm，在命令窗口扣可以正常导入，但是pycharm中导入包时会报错。在查找了一些方法后对安装以及错误的原因和解决方法记录如下。错误描述如下：OSError: dlopen(/Users/gzy/ven...

原创 窗口函数之排序函数通俗理解

* 窗口函数之排序函数 *rank():跳跃式排序——比如分数为99，99，90，89，那么通过这个函数得到的排名为1，1，3，4dense_rank():并列连续型排序——比如分数为99，99，90，89，那么通过这个函数得到的排名为1，1，2，3row_number():连续型排序——比如分数为99，99，90，89，那么通过这个...

转载 linux缺少.h文件解决办法

问题： 执行pip命令，提示缺少 "#include<xxx.h>文件如果编译错误， 你应该仔细看出错信息， 错误已经提示你缺少 ffi.h 头文件无法继续编译， 遇到这种问题， 你用下面的办法来修复： 1> sudo apt-get install apt-file 2> apt-file update 3> apt-f...

原创 Python3安装、pybloom安装、/usr/bin/python3: bad interpreter:Permission denied错误

一、python3安装（linux） -----最好严格安装下面的安装，楼主就是因为改变了一些东西，导致后来花了大量的时间解决问题。1）安装过程参考：https://www.cnblogs.com/kimyeee/p/7250560.html2）若编译安装的时候出现：configure: error: no acceptable C compiler found in $PATH 这种错误执...

转载 彻底弄懂tf.Variable、tf.get_variable、tf.variable_scope以及tf.name_scope异同

转载：https://blog.csdn.net/qq_22522663/article/details/78729029

原创 NLP之Fasttext

NLP之Fasttext一、简介 Fasttext是2016年facebook开源的一个机器学习模型，可用于生成词向量和文本分类。文本分类方面据说有着和深度学习模型接近的效果，并且训练速度更快（其中一个原因是使用了层次化softmax加快了运算过程）。模型的输入是一个句子及其n-gram特征，输出类别。二、语料（文本分类） 输入的数据需要经过一些简单的处理，fastte...

原创 那些年走过的Python套路(更新中......)

python问题记录

《Video Generation from text》论文笔记

论文名：Video Generation from text 时间：2017.8.1 作者：Yitong Li(Duke U)等 来源：arXiv:1710.00421v1 [cs.MM]    中心思想：论文提出一种混合网络结构——CVAE-GAN，用于从文本描述中生成具有运动动态的视频（首次）。结构包括gist 生成器、Video生成器、...

原创 《Video-toVedio Synthesis》论文笔记

                                                                           Video-to-Video Synthesis参考文献：1、Video-to-Video Synthesis 2018                  2、来源：机器之心https://mp.weixin.qq.com/s?__biz...

转载 深度学习调参，CNN参数调参，各个参数理解和说明以及调整的要领。underfitting和overfitting的理解，过拟合的解释。

转载：https://blog.csdn.net/qq_20259459/article/details/70316511来源：JINWEI93

原创 pycharm 工程包导入问题

在将外部的python package放入python的工程中时，会出现同一个包中的python文件无法在另一个文件中引用的问题，显示如下错误：解决办法如下：打开File-Settings...如下：按照123的顺序执行，当出现右边出现4所示的时候，问题就解决了。...

翻译 Wasserstein distance（EM距离）

原创 《High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs》论文笔记

              High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs 解决问题：用CGAN合成分辨率为2048*1024的高分辨率且纹理逼真的图像。 方法：1、coarse-to-fine 生成器（G1（全局生成器） 、G2（局部增强生成器））      2、m...

原创 《Image-to-Image Translation with Conditional Adversarial Networks》论文笔记

            Image-to-Image Translation with Conditional Adversarial Networks 重点：提出了一种用于图像翻译任务的通用框架——CGAN用于图像翻译（Pixel2Pixel）。                                               （paired data）结构：生成器...

转载 Generating Videos With Scene Dynamics

来源：NIPS2016 装载自 https://blog.csdn.net/u010620946/article/details/53681081 这篇论文提出了一个基于GAN的网络模型，同时可以进行视频识别和视频生成的task。 Task　　Video recognition &am...

原创 基于多阶段生成对抗网络的延时摄影视频的生成

基于多阶段生成对抗网络的延时摄影视频的生成 这篇论文中视频预测的目的是在给出开始帧的情况下预测逼真的、long-term、高质量的未来帧，未来帧主要包含两个方面的内容：视频内容和运动动态。下面是要得到这两个方面所存在的困难：1、视频内容生成：主要的问题是定义学习什么。模型仅仅基于一张静态的图片（开始帧）要生成未来帧，由于未来的不确定性，那么生成的视频就有很多种合理的结果，导致目...

原创 Temporal Generative Adversarial Nets with Singular Value Clipping

                                         Temporal Generative Adversarial Nets with Singular Value Clipping       本篇论文中作者提出了一种新的生成对抗网络——TGAN，它可以学习无标签视频数据集中的语义表示并产生新的视频，不同于已有的用3D反卷积生成器生成视频的视频生成器，TGAN由...

原创 GAN分类-2019年暂停更新

原始文章1、Generative Adversarial Nets （arXiv:1406.2661v1）2014-6-10GAN演变1、Conditional Generative Adversarial Nets （arXiv:1411.1784v1）2014-12-62、InfoGAN: Interpretable Representation Learning by...

翻译 用于未来帧预测的对偶运动生成对抗网络

                                  用于未来帧预测的对偶生成对抗网络在自动驾驶领域，准确的预测下一个行驶场景对于安全行驶非常的关键，到目前为止已经有各种方法进行了尝试。用于监督学习的深度学习框架取的了很大的成果，但是用于通用、可扩展的视觉任务的无监督视频表征学习仍然没有得到解决。而因为自然场景复杂的外观和运动动态，视频的未来帧预测成为一个重要的挑战。视频的未...

原创 【Tensorflow1.6.0】windows10下tensorflow1.6.0安装记录

Preparation： 工具：windows10+cudn9.0+cudnn7.0+tensorflow1.6.0 下载：cudn9.0+cudnn7.1，点击进入云盘可以下载，也可以进入官方网站进行下载。密码：vcp1Installing： 相信点开这篇文章的windows10都已经安装好了，不废话，直接正菜，我使用的是Windows...

原创 大数据笔记1

spark实现并行计算：把超大的数据集合分成N个分块的数据集，用M个执行器（Mspark是一种分布式并行处理计算框架，与Hadoop联合使用，增强Hadoop的性能，增加内存缓存、流数据处理、图形处理等高级的数据处理能力。spark的中间结果保存在内存上，在迭代计算方面拥有更好的性能,而mapreduce的中间结果保存在HDFS上。spark直到RDD第一次调用

原创 python网络数据采集

原创 centos7下openstack安装的部分问题

1、 ERROR：1045 SOLUTION： （1）.关闭mysql # service mariadb stop(systemctl stop mariadb.service) （2）.屏蔽权限 # mysqld_safe –skip-grant-table