咸鱼UI2CODE简述

tensorflow

google 2015 年开源的机器学习框架

它的完整性、易用性等非常符合咸鱼技术团队的需求
简单业务场景：
当你打开闲鱼搜索信息时，你看到的那些描述产品的文字标签，有许多就是靠基于 TensorFlow 的技术生成。

在开发UI2Code这个复杂的工作流程过程中，闲鱼团队正是使用了TensorFlow Lite 来完成其中的深度学习任务。

设计出一个通过识别视频中的音频，来为视频进行分类的模型，团队使用深度学习模型，将视频中提取出的音频进行向量化处理，生成图片，之后对这些矢量图进行分析比对，从而判断出音频是男声、女声或是其他声音，据此完成分类。

OpenCv

提供了图像处理和计算机视觉的很多算法
这里主要是对图片的一些处理

UI2code

架构图

metadata：描述数据的数据
dsl领域特定语言，针对一个特定的领域，具有受限表达性的一种计算机程序语言，可以看做是一种抽象处理的方式。（通过DSL来抽象构建模型）

流程图

1.通过机器视觉技术，从视觉稿提取GUI元素
2.通过深度学习技术，识别GUI元素类型
3.通过递归神经网络技术，生成DSL（领域特定语言）抽象类型
4.通过语法树模板匹配，生成flutter代码