自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(929)
  • 资源 (1)
  • 收藏
  • 关注

原创 告诸位技术同胞大佬!!!

近日,发现其他网站大量复制粘贴我这里的博文,既不注明原文链接,也没有注明作者,这样的网站毫无底线,完全是流氓网站。鉴于这种情况的出现,本人今天以后的博文全部只能粉丝可见。下面我要挨个投诉,申诉,直到删除复制的我的博文,不限于起诉维权,反正一无所有,咱就死磕到底!!!For Video Recommendation in Deep learning QQ Group 277356808For Speech, Image, Videoin deep learning ...

2020-06-05 10:12:14 1290 1

原创 使用ffmpeg截取MP3等音频片段

可以使用以下命令通过 截取 MP3 音频文件的指定片段:ffmpeg的安装方法参考:linux 安装包方式安装ffmpeg,并在环境中设定或指定ffmpeg地址_linux 通过ffmpeg访问地址-CSDN博客ffmpeg -ss [start_time] -i input.mp3 -to [end_time] -codec copy output.mp3参数说明: 指定截取的起始时间,格式支持:(如 表示 30 秒)(如 表示 1 分 30 秒) 输入音频文件的路径。 指定

2025-05-07 14:42:53 311

原创 flask返回文件的同时返回其他参数

简单参数(如时间戳)➔ 使用自定义 HTTP 头(方法 1)。复杂数据 + 小文件➔ 使用JSON + Base64 文件(方法 2)。特殊需求➔ 考虑多部分响应(方法 3)。推荐优先选择方法 1,代码简洁且性能最佳。

2025-04-27 10:44:06 487

原创 Docker配置DNS方法详解及快速下载image方法

根据错误信息,Docker 在拉取镜像时遇到网络连接超时(),通常与或有关。

2025-04-24 14:53:46 223

原创 Python删除Elasticsearch指定数据

将type类型为keyword的字段为"fw"的数据删除。以下是使用Python删除Elasticsearch中指定数据的实现代码:# 连接到Elasticsearch,根据实际情况修改连接参数# 配置参数(根据实际情况修改)index_name = "your_index_name" # 替换为你的索引名称target_field = "type" # 要匹配的字段名(根据实际字段名修改)

2025-04-23 16:18:22 211

原创 docker保存镜像到本地

以下是将保存到本地.tar。

2025-04-22 17:50:27 377

原创 Linux开机自动挂载磁盘方法

在 Linux 系统中,要实现开机自动挂载磁盘,通常可以通过修改 /etc/fstab。对于 Windows 文件系统(如 NTFS/FAT32),需安装。:磁盘的唯一标识符(推荐使用,避免设备名变化导致错误)。# 或使用设备路径(不推荐,因设备名可能变化)Where=/mnt/data # 挂载点。若挂载后无法读写,可尝试在挂载选项中添加。:默认挂载选项(包含读写、执行等权限)。:备份和磁盘检查选项(通常设为 0)。:适合需要按需挂载或复杂依赖的场景。若无报错且磁盘已挂载,则配置成功。

2025-04-22 16:29:46 223

原创 ffmpeg 将mp4从中提取音频文件, Stream #0:1 -> #0:0 (copy)[mp3 @ 0x7f96b7713680] Invalid audio stream. Exact

ffmpeg 将mp4从中提取音频文件,你遇到的错误是因为尝试将非MP3音频流直接复制到MP3容器中,而MP3容器仅支持MP3编码的音频流。

2025-04-22 13:29:41 242

原创 if “const“ in schema:TypeError: argument of type ‘bool‘ is not iterableERROR: Exception in ASG

你遇到的错误是由于 Gradio 在处理接口的 JSON Schema 时,某个参数类型不匹配导致的。错误发生在 Gradio 解析接口的输入/输出参数时,代码预期接收一个结构,但实际传入了一个。具体来说:在的get_type()函数中,尝试检查schema中是否存在"const"字段,但schema被意外传入了一个布尔值(如True或False),导致触发TypeError。:某个输入/输出组件(如gr.JSON)的参数被错误设置为布尔值。:接口函数 () 返回了布尔值,但输出组件配置不兼容。

2025-04-22 10:49:50 572

原创 ValueError: When localhost is not accessible, a shareable link must be created. Please set share=Tru

遇到的ValueError通常在使用某些 Python 库(如或其他需要本地端口映射的工具)时出现。错误提示表明:当无法直接访问本地主机(localhost)时,必须生成一个可共享的链接。:某些网络环境(如公司内网、学校网络或 VPN)可能禁止直接访问localhost。:代理设置可能拦截了本地请求。:默认端口(如78608000等)可能被防火墙或安全软件阻止。

2025-04-22 10:21:50 280

原创 es 混合检索多向量

通过 bool查询分层处理结构化过滤(关键词、分类、时间等)。多向量联合相似度计算。动态权重调整(过滤条件是否影响评分)。这种组合方式兼顾了精准筛选和语义相关性排序,适合需要混合检索策略的复杂场景(如电商搜索、内容推荐系统)。

2025-04-18 10:23:27 258

原创 ES集群多向量字段检索及混合检索方法

确保在索引映射中正确声明两个字段,假设每个字段的维度为768:},ES支持存储和检索多个向量字段,通过实现多向量联合检索。若需高性能,可评估数据规模后选择混合方案(如近似kNN过滤+脚本精排),或关注ES后续版本对多向量kNN的原生支持。

2025-04-18 10:21:35 210

原创 audio file format 音频文件的格式

也是无损音频格式,它采用特殊的编码算法,在不损失音质的前提下,对音频数据进行压缩,使文件体积比WAV格式小很多,但音质依然保持与原始音频一致。此外,许多智能手机默认的音频编码格式也是AAC,例如苹果的iPhone设备,其录制的音频文件和系统自带的铃声等大多采用AAC格式。AAC格式的音频文件体积也相对较小,同时具有较高的编码效率和更好的兼容性,被广泛应用于各种现代音频应用中。例如,音乐制作人在录音棚录制乐器演奏或人声演唱时,往往会以WAV格式保存音频素材,以确保音质的高质量,方便后续的精细处理。

2025-04-17 14:16:16 581

原创 ConnectionError(<urllib3.connection.HTTPConnection object at 0x7fa148c51eb0>: Failed to establish a

出现错误通常与相关,表明客户端无法找到通往 Elasticsearch (ES) 集群主机的有效路由。

2025-04-15 13:38:52 187

原创 tree 显示到二级目录

要使用tree命令显示到二级目录,可以通过-L参数指定目录层级。具体命令如下:tree -L 2。

2025-04-11 15:17:13 396

原创 自带磁盘挂载方法

要将磁盘挂载到/data2/

2025-04-11 13:17:56 180

原创 flask实现上传文件与下载文件

支持的文件类型包括:txt, pdf, png, jpg, jpeg, gif, doc, docx, xlsx, zip。在生产环境中,建议添加更多的安全措施,如文件大小限制、用户认证等。根据文件名从上传目录中找到文件并返回给客户端。,可以在生产环境中修改host和port。上传文件: 使用POST请求发送文件到。,或者直接在浏览器中访问该URL。下载文件: 使用GET请求访问。返回上传成功信息和下载链接。文件会以附件形式下载。来允许或限制文件类型。

2025-04-10 15:11:04 482

原创 合并dataframe等多个工作表格多个Excel文件

如果需要合并多个(每个文件可能包含多个工作表),使其能够读取多个 Excel 文件,并将它们合并成一个表格。

2025-04-10 10:19:11 280

原创 flask返回json或者中文字符串不要编码

在 Flask 中返回中文字符串时,如果希望浏览器直接显示中文(而非编码后的 Unicode 转义字符如\uXXXXutf-8。。

2025-04-08 15:20:01 190

原创 Flask返回文件方法详解

在 Flask 中返回文件可以通过send_file或方法实现。

2025-04-08 14:55:06 196

原创 elasticsearch 8设置验证登录查询

通过以上步骤,可以确保Elasticsearch的SSL证书配置正确,并解决SSL配置错误的问题。如果问题仍然存在,可以参考Elasticsearch的官方文档或社区支持获取进一步帮助。通过以上步骤,可以解决Elasticsearch的认证问题。如果问题仍然存在,可以参考Elasticsearch的官方文档或社区支持获取进一步帮助。最近总是困扰于9200网络勒索,老是在捣乱,动不动给我清理了index,实在是费劲,今天研究了下config配置,设置ca验证。以下是完整的步骤和配置,确保生成的证书文件与。

2025-04-07 16:12:20 362

原创 es8实现向量检索与关键词匹配混合搜索

{"title": "自然语言处理", "content": "自然语言处理是计算机处理人类语言的技术"}{"title": "深度学习", "content": "深度学习是基于神经网络的机器学习方法"},{"title": "深度学习", "content": "深度学习是基于神经网络的机器学习方法"},{"title": "机器学习", "content": "机器学习是人工智能的一个分支"},{"title": "机器学习", "content": "机器学习是人工智能的一个分支"},

2025-04-03 16:18:11 182

原创 es 集群存储字典 json字段----python实现

在 Elasticsearch 中,你需要为索引定义一个映射,确保字段可以存储 JSON 格式的数据。通常,你可以使用。

2025-04-02 14:13:01 246

原创 Failed to initialize NVML: Driver/library version mismatchNVML library version: 570.124

sudo apt purge nvidia-* libnvidia-* # 清除所有 NVIDIA 驱动及库文件。,但系统中可能存在另一个版本的驱动库文件(如 570.124),导致版本冲突。:部分系统需禁用 Secure Boot 才能加载 NVIDIA 驱动。:若在 Docker 中报错,检查容器内驱动版本是否与宿主机一致。:系统中安装了多个版本的 NVIDIA 驱动,导致版本冲突。:系统内核升级后,NVIDIA 驱动未重新编译适配。:更新驱动后未重启系统,旧版本的内核模块仍在运行。

2025-03-28 11:09:06 2195

原创 怎么确定NCCL能用了?

cuda 安装不了就直接:apt install nvidia-cuda-toolkit。然而还是出bug了,还是没有那个so文件。忘了,原文还有以下:类似的。四、安装nvcc即CUDA。

2025-03-27 17:58:03 342

原创 vllm serve 使用方法

是 vLLM 提供的命令行工具,用于快速部署兼容 OpenAI API 的 HTTP 服务器。是 vLLM 中简洁的命令行接口,用于快速启动 API 服务。指定模型路径或 Hugging Face Hub 模型名称(如。信任远程代码(加载需要自定义代码的模型,如某些社区模型)。张量并行 GPU 数量(多卡推理时设置为 GPU 数量)。SSL 私钥文件路径(启用 HTTPS)。确认模型路径正确(本地模型需绝对路径)禁用性能统计日志(减少日志输出)。禁用请求日志(减少日志输出)。GPU 显存利用率(默认。

2025-03-27 10:58:21 843

原创 vLLM命令行使用方法详解

建议根据硬件配置(GPU 型号、显存大小)逐步优化关键参数(如批处理大小和显存利用率)。vLLM 是一个针对大语言模型(LLMs)优化的高效推理和服务库。生成的最大 token 数量(上下文长度 + 生成长度需小于模型限制)。输入文件路径,支持格式:每行一个提示文本,或 JSON 列表(如。GPU 显存利用率(0~1,默认 0.9,调整以避免 OOM)。GPU 张量并行数量(多卡推理时设置为 GPU 数量)。加载需要自定义代码的模型(如某些社区模型)。生成随机性(0=确定性,1=高随机)。

2025-03-27 10:41:20 665

原创 我的创作纪念日

专注领域:推荐算法与NLP,语音识别与降噪,图像生成,检索,大模型。1,333,448 总访问量。

2025-03-25 09:41:08 180

原创 如何检查音频文件的采样率?

音频采样率表示每秒对声音信号的采样次数,直接影响音频质量和存储需求。输出直接显示采样率,例如。

2025-03-24 14:07:41 684

原创 speech input and to mp3语音输入为mp3

语音数据是个初级问题,是为后续处理的第一步,后续可能语音识别,降噪,声纹复刻等等。

2025-03-24 14:02:59 50

原创 ERROR: Failed building wheel for pyaudioFailed to build pyaudioERROR: ERROR: Failed to build insta

这个错误表明在编译pyaudio时缺少 PortAudio 开发库。

2025-03-24 11:36:02 194

原创 用java代码开发一个安卓app,实现账号注册登录

注意:上述代码中的用户验证逻辑是简单的硬编码示例,在实际应用中,你需要连接到后端服务器或数据库来处理用户数据,并确保数据的安全性和完整性。在Android Studio中运行应用,你可以看到登录和注册页面,用户可以进行注册和登录操作。在Android Studio中创建一个新的项目,选择"Empty Activity"模板。布局文件,作为用户登录成功后的主页面。中添加Activity的声明。

2025-03-20 14:45:57 441

原创 语音生成/语音复刻CosyVoice语音生成大模型2.0-0.5B

CosyVoice 2.0 是一款全新升级的多语言语音生成模型,相较于 1.0 版本,它在准确性、稳定性、速度和语音生成能力上都有显著提升。

2025-03-20 14:32:22 355

原创 Elasticsearch text字段检索方法

textvskeywordtext用于分词搜索,keyword用于精确值(如聚合、过滤)。子字段.keyword:Elasticsearch 自动为text字段生成(无需额外配置)。性能优化:在filter中使用term或terms避免评分开销。根据需求选择合适的查询类型!

2025-03-19 15:45:59 257

原创 linux 安装包方式安装ffmpeg,并在环境中设定或指定ffmpeg地址

在 Linux 系统中,以安装包的方式安装 FFmpeg 并设定其环境变量可以按照以下步骤操作。以下步骤以 Ubuntu 系统为例,其他 Linux 发行版步骤会稍有不同。

2025-03-17 14:47:03 366

原创 基本登录页面功能实现

登录容器:使用 < div class=“login-container”> 作为登录表单的容器,包含标题 < h2>、表单 < form> 和错误提示 < div id=“error-message”>。全局样式:设置 box-sizing 为 border-box,确保所有元素的宽度和高度包含内边距和边框。整体结构:使用 < html>、< head> 和 < body> 标签构建基本的 HTML 结构。登录容器样式:设置登录容器的背景颜色、圆角、阴影和动画效果,使其具有立体感和动画过渡。

2025-03-08 22:29:40 118

原创 Milvus JSON数据存储优化方案

无论是json数据还是string/varchar 类型数据,其长度都不能超过65536,这是根本,不像ES的text类型数据一样,可以无限长。类型,则无需通过编码或分块即可直接存储二进制数据。(例如 128 位的二进制哈希值),而非通用二进制数据(如文件、压缩流等)。:用于表示二进制向量(如哈希、二进制量化后的特征),不能存储任意二进制数据。:只能通过向量相似度搜索访问,无法直接按二进制内容检索。将二进制数据转换为 Base64 字符串,存入。是唯一直接支持二进制数据的类型,但它。

2025-03-06 21:24:11 211

原创 style-your-video风格化你的视频

视频风格化是指将视频内容转换为特定艺术风格(如油画、水彩、卡通等)的技术。将视频拆解为单帧图像,对每帧应用图像风格迁移算法,最后重新合成视频。通过光流(Optical Flow)或时序约束保持帧间连贯性。# 模型代码需自行实现或从开源库获取,此处为伪代码。# 加载预训练风格迁移模型(示例:AdaIN)# 伪代码:使用RAFT计算光流并约束相邻帧。frame1 = ... # 当前帧。frame2 = ... # 下一帧。# 在风格迁移损失函数中加入光流约束。使用更快的风格迁移模型(如。

2025-03-06 11:51:51 423

原创 style-your-face风格化你的脸

环境准备:安装必要的库,如 PyTorch、torchvision、opencv-python 等。数据准备:准备人脸图像数据。模型加载:加载预训练的风格化模型。图像预处理:对输入的人脸图像进行预处理,使其符合模型输入要求。风格化处理:将预处理后的图像输入模型,得到风格化后的图像。结果可视化:显示或保存风格化后的图像。

2025-03-06 11:43:04 406

原创 es如何进行refresh?

在 Elasticsearch 中,refresh操作的作用是让最近写入的数据可以被搜索到。以下为你介绍几种常见的执行refresh。

2025-03-05 13:07:48 552

brew安装shell文件,直接bash执行即可

brew安装shell文件,直接bash执行即可,mac电脑专用,其他系统不支持哈。

2024-07-17

河南省⼯业学校校区⼯作⼈员试题卷子往年题库

源于互联网,自己下载的,其中内容应该靠谱。

2023-12-28

stable-diffusion-webui启动文件

stable-diffusion-webui启动文件,用于启动环境中的参数输入,与cmd参数输入相结合,其他参数修改,包括pip,git环境修改,git的环境请手动下载,这里注释掉了。

2023-07-19

requirements.txt of the stable-diffusion-webui

stable-diffusion-webui的pip 安装记录,直接由pip freeze而来,比较全面,而且基本上都是必须的环境,多余的环境很少。直接pip install -r the_file.txt 即可,相当方便。

2023-07-19

stable-diffusion-webui安装包,亲测有效

stable-diffusion-webui安装包,亲测有效。非常可行的包,不过环境需要自己安装的,安装一下吧。有些环境在repo里安装即可。

2023-07-19

stable-diffusion-webui启动文件launch.py

用于启动stable-diffusion-webui,修改后的脚本,第一版本,可行,启动无误。无需全局环境,可以像其他库一样设置自己的虚拟python环境,非常nice的,省时省力。

2023-07-19

diel-data数据集,用来实验与验证GCN模型的,推荐算法中的GCN模型,当然也是最初的分类模型

diel_data数据集,用来实验与验证GCN模型的,推荐算法中的GCN模型,当然也是最初的分类模型,该模型数据的难点在于构建网络节点数据,具体可以看下GCN中的解读。或者参考我的博文GCN的解读。

2023-06-22

Avazu推荐算法必备数据集,无论是召回还是排序都是必备的数据集

Avazu推荐算法必备数据集,无论是召回还是排序都是必备的数据集。 版本x1,即可用于推荐算法中的指标对比,也可以用来检验自己的算法是否超过前人的研究成果,是用来发paper的必备测试数据集,比如DeepFm,din,等,都可以用来测试,实践。不妨下载来看看数据格式,这里面的数据集是大多数的通用的数据。 另外,数据集具有验证集和测试集,可用来训练中和训练后进行测试,当然也可使用其中一个作为测试。 推荐算法,模型必备数据集,wide&deep,LR,DCN,图模型,等。

2023-06-22

cora-v2数据集,用于推荐算法中的GCN进行测试

cora_v2数据集,用于推荐算法中的GCN进行测试 也可以用于推荐算法中其他方法的测试,作为经典的数据集,具有对比的作用。

2023-06-22

python库peft安装包

可以采用pip安装的peft安装包,包括makefile文件,此库非常有用,依赖库有torch及python,一些版本号可以自己修改,具体可查看里面的文件。该安装包用于大模型微调使用,是必不可少的依赖。

2023-05-05

自然语言处理用的二分类微调数据SST,可以参考huggingface来具体操作训练

自然语言处理,预训练模型微调专用数据,SST2 文本分类,情感分类等等类似下游任务都可以用。

2023-02-14

用于NLP预训练模型的微调,应用场景包括language model 和text generation 自然语言处理必备资源

英文维基文本,包含训练集,测试集,验证集。 来吧,下载训练自己的模型,微调下吧。

2023-02-14

attention is all you need解读及pytorch代码

Attention is all you need 解读及详细代码,每个模块都有注释,代码详细易懂。哈佛出品,值得阅读。Transformer最基本的结构,也是BERT的基本结构,NLP和推荐都需要用到。

2022-12-06

gcn/gat模型中预处理数据用的脚本 如何把数据整成gcn/gat模型需要的数据格式 process

图模型中数据预处理所用的脚本, 包括dgl,gcn,gat都是用的这个预处理过程。

2022-12-06

sample_movielens_ratings.txt

采样的movielens数据集,一般用来推荐模型中的测试。标椎格式txt可以尝试下自己的新模型,这种数据一般用于有评分数据的模型,用于矩阵分解之类的模型。如果是点击与否的模型则不适用。推荐算法模型可以查看我的相关博文,关注即可。多谢点赞。也可以加群获取更多资讯。群里有各种大佬,都是算法专家。

2022-09-17

视频中的音频提取test.mp3

视频中音频提取技术,ffmpeg是底层实现工具,这是最基本的,采用py处理得到,简单方便,但实时性有点差,取决于个人所用工具。

2019-11-30

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除