YoungSeng's Blog

Learning Speech-driven 3D Conversational Gestures from Video摘要1 简介2 相关工作3 数据集创建3.1 从视频中创建3D注释3.2 音频特征预处理4 方法4.1 网络结构4.2 训练的细节摘要我们提出了第一个从语音输入中自动联合合成虚拟人物的同步三维对话身体和手势，以及三维面部和头部动画的方法。我们的算法采用了一个CNN架构，该架构克服了(leverages)面部表情和手势之间的内在关联性。对话性身体手势的合成是一个多模式的问题，因为许多类似

A Review of Evaluation Practices of Gesture Generation in Embodied Conversational Agents摘要1 简介1.1 人机交互中的手势使用Agents：智能体摘要实体对话智能体（Embodied conversational agents，ECA）产生非语言的表现去补充或增强语言交流，例如与胳膊和手有关的共语手势（基于规则/数据驱动）关于手势生成方法的报告使用了各种评价措施，这阻碍了比较基于22项上身手势ECA研究，

Speech Drives Templates: Co-Speech Gesture Synthesis with Learned Templates摘要1. 简介2. 相关工作3. 方法论3.1 用所学条件补充音频3.2 同语手势生成的评估4. 实验4.1 学习模板的回归4.2 与baselines相比4.3 模板空间可视化4.4 消融实验5 结论附录A：数据集的统计量附录B：额外定量分析结果摘要协同语音手势生成是指合成一个手势序列，不仅看起来真实，而且与输入的语音音频相匹配。我们的方法可以生成一个完

BEAT: A Large-Scale Semantic and Emotional Multi-Modal Dataset for Conversational Gestures SynthesisFig.1. Motion capture (sometimes referred as mo-cap or mocap, for short)

Speech gesture generation from the trimodal context of text, audio, and speaker identity1 简介2 相关工作3 方法3.1 整体架构3.2 语音语境的编码3.3 手势生成器3.4 对抗性计划4 使用 "野外 "视频进行训练4.1 TED手势数据集4.2 训练损失函数5 客观评价指标5.1 Fréchet 手势距离5.2 用合成噪声数据进行实验6 用户研究以验证评价指标7 实验和人类评价7.1 定性结果7.2 与最先进的模

Gestures and speech interact. They are linked in language production and perception, with their interaction contributing to felicitous communication.

基于pyautogui，取消OCR功能，调用中文预训练模型API，还有笑话+成语+名词解释+智能问答+天气+翻译+问候的功能；还有发一个表情包或者问号的功能，测试效果良好，别生气别骂人！

A Review of Artificial Intelligence in Education from 2010 to 20201. 简介2. 方法地址：浙江大学、香港中文大学、普利莫斯卡大学、卢布尔雅那大学、俄罗斯喀山联邦大学、北得克萨斯州大学、安徽建筑大学、安徽新华学院本研究对研究进行了内容分析，旨在披露人工智能（AI）如何应用于教育领域，并探索人工智能在教育领域的潜在研究趋势和挑战。从2010年至2020年社会科学引文索引数据库的教育和教育研究类别中共选取了100篇论文，包括63篇经验性论文（

Google创新能力引言谷歌作为全球互联网行业领袖的科技巨头，引领了行业科技创新发展。谷歌是美国访问量最大的多平台网站之一，其战略和最新技术不断抢占制高点：1998年成立之初以搜索业务起家；2005年推出谷歌地图；2007年推出安卓手机操作系统；2015年推出DeepMind开发的AlphaGo；2019年推出sycamore处理器，宣布了量子霸权。下面我们从企业的研发投入、研发布局，来看看谷歌在创新上投入的精力，并将其与国内的百度对比。企业研发投入与研发强度企业的研发投入活跃程度是决定企业科技创

What comprises a good talking-head video generation?: A Survey and Benchmark摘要1. 简介2 什么构成了一个好的说话人视频生成？2.1 维护身份2.2 视觉质量2.3 唇部同步化2.4 自然-自发运动3 视听体裁的回顾3.1 没有头部运动的视频3.2 带有自发运动的视频3.3 有明显头部移动的视频3.4 基准数据预占有协议3.5 基准数据集属性分布4 评价指标4.1 维护身份4.2 视觉质量4.3 语义层面的唇语同步化4.4 自发运

Deep Audio-Visual Learning: A Survey

kaggle入门pycharm 在服务器上远程运行 Jupyter Notebook总结入门首先在此网站上下载Node.js version 12或者更高并安装，结果如下所示。接下来的部分将详细介绍开发和竞争你的机器人的推荐设置。对于希望使用Python和Jupyter笔记本/Kaggle交互式笔记本的用户，可以随意跳过这一部分，按照教程中的笔记本进行操作为了在服务器中运行，再下载Linux Binaries (x64)的版本（也不需要），参考1、2进行Linux下载安装打开命令行，用以下方式安

Pycharm1. 下载专业版Pycharm2. 远程开发1. 下载专业版Pycharm下载地址下载2021.2.1版本的，参考此网站2. 远程开发41m 9s (- 4m 34s) (45000 90%) 3.587842m 5s (- 3m 39s) (46000 92%) 3.568443m 3s (- 2m 44s) (47000 94%) 3.585544m 1s (- 1m 50s) (48000 96%) 3.470044m 59s (- 0m 55s) (49000 98%

Vscode1. Vscode 安装（1）下载并安装（2）配置A. 安装中文B. 运行代码2. 远程开发总结目前使用Pycharm写代码再到服务器上运行，始终感觉修改代码非常不方便，刚刚突然知道有远程开发这个操作，然后一查PyCharm还需要专业版（虽然可以学生申请，但审核总是需要时间的），从之放弃PyCharm启用Vscode了。1. Vscode 安装（1）下载并安装下载链接选择System Installer 64bit的下载并安装详细信息：Visual Studio Code-x64-1

Torch 安装下载官网查看 win 10 的cuda版本参考此百度经验

Praat 使用及语音信号处理算法基础任务一：声学参数任务二：发音与听觉感知利用 Praat 完成如下任务，熟悉 Praat 的基本操作，利用 Praat 对语音信号的基频、时长、谱参数等进行分析，对语音信号的基频、时长、谱参数等有进一步理解。下载地址参考手册任务一：声学参数加载“GuoL/40004.wav”音频，在此基础上进行以下操作并回答如下问题：显示和查看波形waveform、语谱图spectrogram、音强intensity、基音轮廓pitch contour、共振峰 forman

大数据机器学习kaggle竞赛竞赛网址baseline首先下载数据集并解压 ，共1.50 GB（别解压，上传到服务器只能是一个文件…还得再压缩一次）上传到服务器，并解压服务器的：>> git --versiongit version 2.32.0笔记本上安装git：git version 2.33.0.windows.2linux删除一个目录：rm -r /testpycharm github 上传可见此和此：查看状态：git status解压：u

语音相关的会议Session分析1. ICPR2. INTERSPEECH3. APSIPA ASC4. ISCSLP5. SLT6. ICASSP - CCF B7. ICME - CCF B小结1. ICPRInternational Conference on Pattern Recognition 国际模式识别会议官网Artificial intelligence, Machine Learning for Pattern Analysis-人工智能，模式分析的机器学习Compute

隐马尔可夫模型 Hidden Markov Model1.本文参考的视频链接首先要知道什么式序列（Series），什么是集合（Set）时间序列模型 Discrete Dynamic Model: Hidden Markov ModelP(Xt∣Xt−1,Xt−2….X1)=P(Xt∣Xt−1)(1)\begin{aligned}& P\left(X_{t} | X_{t-1}, X_{t-2} \ldots . X_{1}\right) \\=& P\left(X_{t} \m

文献阅读作业：隐马尔可夫模型

overleaf在线编辑Latex1. 使用overleaf2. 一些问题小结1. 使用overleaf2. 一些问题overleaf官网首先注册一下上传模板编译报错：解决办法：Select “menu” – “Compiler” – “XeLatex”.Compiled again, successfully.模板感觉太复杂了，而且还是两栏，这里直接新建空白项目，默认空白项目如下：\documentclass{article}\usepackage[utf8]{inpute

从零开始配置服务器的python环境可以查看服务器的Linux版本：cat /proc/versionLinux version 5.11.13-arch1-1 (linux@archlinux) (gcc (GCC) 10.2.0, GNU ld (GNU Binutils) 2.36.1) #1 SMP PREEMPT Sat, 10 Apr 2021 20:47:14 +0000Pycharm Linux官方下载地址Anaconda Linux官方下载地址，下载得到Anaconda3-2

从零开始配置实验室电脑的python环境1. 电脑信息2. 电脑环境配置（1）Pycharm（2）anaconda（3） 配置Anaconda+pycharm环境3. 服务器环境配置小结在实验室刚刚装好的DELL电脑，设备规格：Vostro 3890-China HDD Protection，希望配置好python的Anaconda+pycharm环境，并在服务器上完成相关配置1. 电脑信息处理器：11th Gen Intel® Core™ i5-11400 @ 2.60GHz 2.59 GHz

实验室用服务器1. 如何打开服务器2. 如何把Windows下文件移到服务器上？3. 如何在服务器上运行程序？1. 如何打开服务器首先在服务器上新建账户和密码之后打开cmd，输入mstsc，再输入地址，我的是：10.106.13.92，输入账户和密码2. 如何把Windows下文件移到服务器上？首先在服务器上修改账户权限(允许使用scp从windows向服务器传程序)在windows当前路径下输入：scp -r ... your fold name ysc@10.106.13.92:/mnt/

如何在Ubuntu中漂亮的编写c程序并编译运行如何在Ubuntu中漂亮的编写c程序并编译运行你好！ 这是我第一次使用 CSDN 编写博客。如果你想学习如何如何在Ubuntu中漂亮的编写c程序并编译运行, 可以参考一下这篇文章，也是我的一些学习心得。作为一个Linux小白，我的程序都是在Visual Studio下用c完成的，但是有时需要用到树莓派，而MFC不能在Linux上继续跑，所以需要接...