Ai Native应用开发（一）--数字人

背景

刚参加完24年世界人工智能大会（WAIC），聊聊自己的一些感受。这次会明显比去年多很多人，用人山人海来形容应该也不为过。根据我自己粗浅观察参会的人员也比去年更多样化。去年更多还是从业者或者是这块研究人员。今年每个论坛各种角色人都有，销售、技术、算法、研究人员、产业实践方…去年更多是一些技术展望和技术方向内容，今年很明显看到应用和实践报告多起来了（各大家争相在会议期间发布自己AI产品）。会议主题基本就围绕大模型和人形机器人这两大主题展开，从展会内容看咋一看同质化挺严重。但是因为这也是大模型（23年技术元年）到今年应用元年，有很多类似思路也正常。打上同质化背后其实也可以看到各大家在努力结合自己产业特点制造一些差异化，相信明年会看到更多更实用和差异化的思路和产品。
1.算力
2.个大模型+应用
3.人形机器人
4.机器人核心配件
基本就这几个套路。从产品完整度看呢，个人觉得AI在教育上的应用做的还是不错的，这有点超出我的预期。估计这和国家几年前就在推教育数字化有很大关系，这块产品他们应该是深根很多年，大模型的出现只是让以前技术很难实现的事得以更快速实现。所以从产品形态、完整度、实用性角度看，感觉都比AIGC在工业应用更实在，更不那么toy。
其实这样侧面证明一个推测，大模型下的这波AI应该是人机协作，知识工程是非常重要的 一个环节。业务域的中小企业其实应该把业务知识整理梳理清楚做深才是壁垒，光做工具的企业可能会受到冲击。
也是有感于这次会议，想开一个AI Native的应用系列。这个系列定位就是只讲实现落地，纯AI技术的整合，更偏向工具实现，不讲AI背后技术的原理，也不太讲具体某个行业业务逻辑，只是秀工具功能。这么做的目的也是希望能给有很强业务sence的企业在寻找一些技术赋能、找一些可用工具的时候降低他们门槛，让他们可用快速的把工具结合自己业务测试起来。

操作手册

这篇文章给大家介绍一个纯AI驱动的单图数字人工具，主要包括5个部分：
1.单图生成AI
2.文本生成AI
3.声音克隆AI
4.动作生成AI
5.嘴形生成AI

环境搭建

用指令创建初始化环境：

#创建指定python版本虚拟环境
conda create -n lumina python=3.11
conda activate lumina

单图生成模块

生成图，选用上海人工智能研究所的Lumina架构，具体信息可用看他们官网（https://github.com/Alpha-VLLM/Lumina-T2X.git）
具体环境安装如下：

#下载lumina源码
git clone https://github.com/Alpha-VLLM/Lumina-T2X.git
conda activate lumina
#安装需要工具包
pip install -q flash_attn==2.5.9.post1 --no-build-isolation
pip install git+https://github.com/Alpha-VLLM/Lumina-T2X

#下载模型参数
apt -y install -qq aria2
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M  https://huggingface.co/ckpt/Lumina-Next-SFT/resolve/main/consolidated_ema.00-of-01.safetensors -d ./Lumina-T2X/models -o consolidated_ema.00-of-01.safetensors
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M  https://huggingface.co/ckpt/Lumina-Next-SFT/resolve/main/model_args.pth -d ./Lumina-T2X/models -o model_args.pth

#启动lumina做图软件做图
cd ./Lumina-T2X/lumina_next_t2i
python demo.py --ckpt ../models --ema

上面指令已经把Lumina的网页界面启动了，打开网页开始生成需要的人物。

声音克隆模块

声音克隆现在是个热门，有很多可选的开源项目，效果做的都还不错。这边选用阿里通义CosyVoice来实践。

ubuntu安装git lfs

sudo apt-get update
sudo apt-get install git-lfs
git lfs install

环境初始化设置

git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git
# If you failed to clone submodule due to network failures, please run following command until success
cd CosyVoice
git submodule update --init --recursive

conda create -n cosyvoice python=3.8
conda activate cosyvoice
pip