PIKA正式上线唇形同步 - 给AI视频注入新的“想象“

最新推荐文章于 2025-07-29 21:31:10 发布
最新推荐文章于 2025-07-29 21:31:10 发布
阅读量629 收藏 7
点赞数 8
CC 4.0 BY-SA版权
文章标签： 人工智能 pika openai chatgpt sora 免费AI论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/richerg85/article/details/136346152

图片

PIKA在沉寂了3个月后，终于又更新了...

没有去卷模型，没有去卷控制，而是继续奔赴他们1.0最开始所设定的目标：

对话。

PIKA的模型，有一个跟所有的其他AI视频产品都不同的地方在于。

当你生成人物的时候，大概率会说话，也就是唇形会动起来，模拟人物正在对话的感觉。

图片

PIKA认为，这样的效果，才能更符合真正的"短片"效果，毕竟，一个短片，想要好看，人与人之间的对话那是必不可少的。

对话才有戏，冲突才有张力。

而如果是传统的Runway等等，做的镜头，都是空镜，对话很多时候都只能以旁白的形式去做。那样，观众在看片子的时候，沉浸感会大幅降低。

但是去年PIKA1.0上线的时候，其实是并没有跟语音打通的，意思是说，你只能跑出一个正在瞎特么动的嘴，但是没有声音。

声音你需要自己去11Labs或者魔音工坊里面跑。然后用剪映啥的，把你跑的语音和AI片段拼起来。

但是这就有一个问题是：唇形和发音，是不匹配的。

所以PIKA做唇形同步，是绝对的情理之中，他们一定会做，且必做。

还是得自己亲自上手试一下。

正好这个唇形同步，也对超级合作者开放了，于是，我就来测一下。

进入PIKA首页，传一段视频或者传一张图片后，你就能看到这么一个功能：

最低0.47元/天 解锁文章

200万优质内容无限畅学
richerg85
关注
VideoReTalking：用于野外会说话的头部视频编辑的基于音频的唇形同步
04-27 6115
中，我们简要概述了𝐿大号斜体L-Net，包含两个子网络，下标𝐿𝑎{L}_{a}italic_L start_POSTSUBSCRIPT italic_a end_POSTSUBSCRIPT和下标𝐿𝑣{L}_{v}italic_L start_POSTSUBSCRIPT italic_v end_POSTSUBSCRIPT，分别用于音频和视频处理。，我们采用分而治之的策略，首先中和面部表情，然后使用修改后的帧作为唇形生成的姿势参考，考虑到所有参考面现在都具有相同的规范表情，这样更准确。中举例说明这种现象。
解放原画师！Wav2Lip 用 AI 听音同步人物口型
热门推荐
HyperAI超神经
12-16 1万+
By 超神经内容提要：「眼见为实」在 AI 技术面前已经失效了，换脸、对口型的技术层出不穷，效果越来越逼真。今天要介绍的 Wav2Lip 模型，只需一段原始视频与目标音频，就可将其合二为...
AI新工具(20240228) EMO - 阿里巴巴的表情驱动的音频到视频转换框架；DepthFlow；Globe Explorer等
haleycat的博客
02-28 2788
EMO（Emote Portrait Alive）是一个先进的表情驱动的音频到视频转换框架，可以通过音频（比如说话或唱歌的声音）和一张单独的参考图片，生成带有丰富面部表情和头部姿势变化的肖像视频。无论是处理不同语言的歌曲、使古代画像动起来，还是生成具有逼真动作和表情的三维或AI生成内容，EMO都能够轻松应对，注入生动的动态效果。不过，目前PIKA的唇形同步功能还处于测试版本，效果上与其他产品相比还有一定的距离要走，存在一些问题，但仍具有很大的优化空间。
opencv学习（图像梯度）
weixin_63566653的博客
07-26 1112
在图像处理中，图像梯度（Image Gradient）是描述图像中像素值变化率的概念，是理解图像中 “哪里发生变化” 以及 “变化有多剧烈” 的核心工具。从简单的 Sobel 算子到复杂的 Canny 算法，本质都是通过梯度分析实现边缘提取，是计算机视觉中处理图像结构的基础。
Datawhale 科大讯飞AI大赛（模型蒸馏）
1ncludeSteven
07-27 1084
使用教师模型蒸馏学生模型（小模型），使得学生模型尽可能在数学推理任务中表现更好，评分标准由4个指标组成：Overall Score=0.4×AS+0.3×CQS+0.2×ES+0.1×MLS。通过上述方法构建了3个对应的数据集，目前想要对最终的模型使用的数据集进行消融实验，训练及评分过程较慢。三个数据集合并后共包含2126条数据。模型微调后，创建应用，发布服务即可提交赛题，目前赛题评分中，待更新最后分数。
AI算法实现解析-C++实例
最新发布
keny-大成的博客
07-29 1169
本文摘要： 本文汇总了基于C++实现的多种AI/机器学习技术，涵盖计算机视觉、自然语言处理和强化学习等领域。主要内容包括： 计算机视觉： 目标检测（YOLOv3/YOLO Tiny） 人脸识别（OpenCV Haar级联/OpenFace） 图像风格迁移（OpenCV DNN模块） 特征匹配（SIFT/Lucas-Kanade光流） 自然语言处理： 文本分类（朴素贝叶斯/TF-IDF） 语言模型（N-gram/Word2Vec） 文本生成（LSTM/GRU） 情感分析（FastText/深度学习） 强化学习
AI模型训练中过拟合和欠拟合的区别是什么？
workflower的博客
07-28 813
定义：模型未能充分学习到数据中的规律，对训练数据的拟合程度较差，在训练集和测试集上的表现都不好（如准确率低、损失值高）。- 定义：模型过度学习了训练数据中的细节（包括噪声和随机波动），导致对训练数据拟合效果极好，但对未见过的测试数据泛化能力差。- 表现：训练集性能极好（如准确率接近100%），但测试集性能明显下降，两者差距很大。- 表现：训练集和测试集的性能指标（如准确率）都较低，且两者差距不大。- 过拟合：模型“学太死”，只对训练数据表现好，对新数据没用。- 模型结构过于复杂（如参数过多）；
RoPE：相对位置编码的旋转革命——原理、演进与大模型应用全景
拒绝AI玄学，只聊真技术▲
07-26 2300
RoPE通过几何旋转的统一框架，实现了位置编码的相对性、可逆性与外推性的平衡，成为大模型位置感知的基石技术。跨模态统一：N维李群框架支撑视频、3D点云位置建模动态频率学习：替代预设θbaseθbase​，实现任务自适应编码鲁棒性增强：融合FoPE思想抵抗深层频谱损坏RoPE的本质是将位置关系映射为复数空间的旋转群——它不仅是Transformer的“位置感知器”，更是AI理解时空的数学透镜。当旋转矩阵的维度从文本扩展到图像、视频乃至物理世界，位置编码的数学之美正在重构AI对世界的认知方式。
人工智能与交通：智能出行的变革与突破
一套方法论打通全栈闭环，从 0 到 1 教你驾驭需求、设计、开发、项目、课题、论文和软著，速成全栈王者！
07-25 1340
AI 驱动的智能交通不仅是技术升级，更是对城市空间、能源利用、社会分工的全面重构。从自动驾驶解放人类的驾驶时间，到智能调度让城市告别拥堵，再到绿色交通助力碳中和，每一项进步都在重新定义 “出行” 的意义 —— 从 “必要的负担” 变为 “高效、安全、愉悦的体验”。实现这一愿景需要技术突破、法规创新、社会协同的多方努力。当技术足够成熟、法规足够清晰、公众足够信任时，智能交通将成为 “未来城市” 的血管系统，支撑起更高效、更公平、更可持续的人类生活方式。
人工智能时代的战略竞争优势商业模式创新培训讲师培训师专家咨询顾问唐兴通谈个性化在制造业金融业医疗医药石油化工SARS软件行业大客户营销与销售背后的价值
Akibfrycc的博客
07-26 1075
这让我想起《孙子兵法》中的"迅雷不及掩耳"——当你的竞争对手还在为季度营销计划绞尽脑汁时，真正的领导者已经构建了能够同时运行数百个覆盖数百万客户的实验系统，在短短几天内就能提取洞察，并将其融入下一轮互动。他们深谙个性化的真谛：结合智能整合与自动化，在敏捷团队中跨越功能孤岛，将测试和学习的时间线压缩至小时级别，月度实验数量提升至数千个。真正的个性化能力竞争是组织能力的竞争。今日，不知多少企业迷信于购买昂贵的营销自动化平台，招揽数据科学家，实施CRM系统，却依然无法真正理解客户，更遑论预测需求、创造价值。
AI崛起后，对使用AI的一些小思考
2303_81991798的博客
07-29 771
AI编程工具的快速发展极大降低了技术门槛，使普通用户也能轻松制作静态网页等项目。然而，真正的技术壁垒在于后端开发、SEO优化等专业领域。开发者需从用户需求出发，关注解决实际痛点而非技术本身。在变现方面，需设计符合用户心理的定价策略，如免费增值模式和小额支付。面对大厂竞争，应通过优化体验、建立品牌等方式提升用户粘性。AI时代，创意和服务能力比技术实现更重要。
Spring AI 项目实战（二十）：基于Spring Boot + AI + DeepSeek的智能环境监测与分析平台（附完整源码）
博客
07-26 667
本文介绍了基于Spring Boot和DeepSeek大语言模型开发的智能环保监测系统。该系统实现了多类型传感器数据采集、实时监测、AI异常检测、污染源识别、趋势预测和治理方案推荐等功能，采用前后端分离架构，整合了Spring Boot、Vue3、MySQL等技术栈。项目通过AI技术提升了环保监测的智能化水平，解决了传统系统在实时性、分析能力和预警机制等方面的不足。
车载图传系统：移动场景下的 “信息中枢”
伟博 图传解决方案
07-28 848
车载图传系统凭借其卓越的技术性能、丰富的功能特性以及广泛的应用场景，已成为现代移动作业不可或缺的重要组成部分。它不仅为各行业的高效运转提供了有力支撑，更在保障公共安全、提升城市治理水平等方面发挥着关键作用。随着技术的不断进步，车载图传系统必将迎来更广阔的发展空间，为构建更加智能、安全、高效的社会环境贡献更大力量。
TDengine 中 TDgpt 异常检测的数据密度算法
TDengine(老段）专注时序数据库领域
07-29 234
Local Outlier Factor(LOF)，局部离群因子/局部异常因子，是 Breunig 在 2000 年提出的一种基于密度的局部离群点检测算法，该方法适用于不同类簇密度分散情况迥异的数据。根据数据点周围的数据密集情况，首先计算每个数据点的局部可达密度，然后通过局部可达密度进一步计算得到每个数据点的一个离群因子。该离群因子即标识了一个数据点的离群程度，因子值越大，表示离群程度越高，因子值越小，表示离群程度越低。最后，输出离群程度最大的。后续待添加基于数据挖掘检测算法。第三方异常检测算法库。
AI日报 - 2025年07月25日
NingboWill的博客
07-25 1257
AI人工智能日报新闻和最新AI工具
机器学习中knn的详细知识点
2302_76568160的博客
07-25 476
K 最近邻（K-Nearest Neighbors, KNN）是一种基于实例的监督学习算法，适用于分类和回归任务。其核心思想是通过计算新样本与训练集中样本的距离，选取最近的 K 个邻居，根据这些邻居的类别或值进行预测。
非参数密度函数估计(1)
gongdiwudu的专栏
07-25 1015
非参数密度估计是一种估计随机变量概率密度函数的方法，无需假设分布的特定函数形式与需要选择特定分布（如正态分布或指数分布）的参数方法不同， 非参数方法直接从数据中估计密度，这使得它们更灵活但可能更复杂。
云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型之Lora微调代码讲解
m0_51430275的博客
07-29 285
本文详细解析了基于LoRA微调Qwen2.5-VL-7B模型的配置参数。LoRA通过低秩分解技术，仅训练小矩阵增量，大幅降低显存消耗（节省70%+）。关键配置包括：任务类型为因果语言建模（CAUSAL_LM）、目标模块覆盖注意力层和FFN层（q/k/v/o_proj等）、秩r=64与alpha=16保持合理缩放比（0.25）、5%的dropout防止过拟合。该配置在16.7M参数的原模块上仅需训练0.52M参数，实现了高效微调，特别适合多模态生成任务。参数设置平衡了性能与效率，是Qwen模型的推荐实践方案。
上下文工程（上）——充分发挥智能体AI系统的潜力
Anspire的博客
07-29 484
几周前，我尝试用Claude Code构建一个完整的Spring Boot应用（一个略复杂的企业级用例）。由于这不是一个现成的用例，我很难定义精确的提示词（包括恰当的上下文学习、检索增强生成（RAG）等）。我得到的结果总是不一致——有时很出色，有时则完全是无意义的内容。我偶然看到了各种关于上下文工程的论文和博客，虽然之前听说过这个概念，但我曾认为它只是又一个昙花一现的潮流。我很快意识到，应该有解决办法，而且我们确实需要一种系统化的方法来定义上下文。
开发一个本地化的 RAG 智能体
champyin的博客
07-26 753
2. LangChain 的文本嵌入模块 HuggingFaceEmbeddings 会有层层依赖，安装时容易受挫，别怕，都给你梳理好了：HuggingFaceEmbeddings 依赖 sentence-transformers，sentence-transformers 依赖 torch，（torch 依赖 numpy，运行时才会暴露）。要开发 RAG 智能体，少不了要进行检索文档、调用大模型、调用工具等操作，这些操作都是最基础的标准动作，已经有开源的框架库帮我们封装好了，不需要我们从头来写。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值