经典代码自动生成论文《pix2code: Generating Code from a Graphical User Interface Screenshot》理解

最新推荐文章于 2024-08-09 08:04:31 发布
最新推荐文章于 2024-08-09 08:04:31 发布
阅读量818 收藏 2
点赞数 1
文章标签： 代码自动生成
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dreamweaverccc/article/details/92789011
版权

Beltramelli T. pix2code: Generating code from a graphical user interface screenshot[C]//Proceedings of the ACM SIGCHI Symposium on Engineering Interactive Computing Systems. ACM, 2018: 3.

一、论文主要方法

本文主要提出了一个端到端的模型将GUI(Graphic User Interface)截图转换成计算机代码。

模型的思想：使用CNN无监督地提取图像特征和表示图像；使用RNN生成图像的文本表示。即经典的CNN+RNN结构，架构图如下所示：
在这里插入图片描述
在训练阶段(Training)，用CNN表示图像，LSTM表示上下文，然后将两个表示连接输入到另一个作为decoder的LSTM中，最后通过一个softmax输入关键字。每次生成一个关键字，softmax层的大小和语料库的大小相同。在生成阶段(Sampling)，与训练阶段不同的是输入只有图像。语料库中有两个特殊的关键字START和END，生成阶段从START开始，到END停止。

二、论文实现

dreamweaverccc
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
puml2code：PlantUML代码生成器
02-05
PlantUML代码生成器（puml2code） 一个命令行实用程序，它将代表类UML图的Plantuml -text文件转换为源代码。 基于puml解析器，但使用es6重写。 安装 全局安装将puml2code命令带到PATH $ npm i -g puml2code 开发安装 $ git clone https://github.com/jupe/puml2code.git $ npm i $ bin/puml2code -h 运行测试 $ npm test 支持的输出语言 （咖啡脚本） （csharp） （cpp） （ecmascript5） （ecmascri
pix2code: Generating Code from a Graphical UserInterface Screenshot
weixin_47277897的博客
11-22 1133
Abstract 将设计人员创建的图形用户界面截图转换为计算机代码是开发人员为构建定制的软件、网站和移动应用程序而执行的典型任务。在本文中，我们证明了深度学习方法可以用来训练一个端到端模型，对三个不同的平台(即iOS、Android和基于web的技术)从单个输入图像自动生成代码，准确率超过77%的水平 Introduction 基于由设计人员创建的图形用户界面(GUI)模型来实现客户端软件的过程是开发人员的责任。然而，实现GUI代码很耗时，并且阻碍了开发人员花费大部分时间来实现他们
探秘Pix2Code：图像转代码的神奇工具
gitblog_00092的博客
03-19 493
探秘Pix2Code：图像转代码的神奇工具 pix2codepix2code: Generating Code from a Graphical User Interface Screenshot项目地址:https://gitcode.com/gh_mirrors/pi/pix2code 是一个由 Tony Beltramelli 开发的创新项目，它利用深度学习技术将设计草图自动转换为可运行的...
前端智能化漫谈 (2) - pix2code实战篇
lusing的专栏
07-26 3118
前端智能化漫谈 (2) - pix2code实战篇 将pix2code跑起来 先来干货介绍将pix2code跑起来的步骤： 1.下载pix2code源代码 git clone https://github.com/tonybeltramelli/pix2code 网速慢的话需要等一等，.git就有700兆左右。图像数据也有450兆左右。 2.解压数据 cd datasets zip -F pix...
pix2code：pix2code：从图形用户界面截图生成代码
02-04
pix2code 从图形用户界面截图生成代码 可以在系统的视频演示该论文可在官方研究页面： ： 抽象将设计人员创建的图形...引文@article{beltramelli2017pix2code, title={pix2code: Generating Code from a Graphical Use
Python-pix2code从一个图形用户界面截图生成代码
08-11
Python-pix2code项目是一个创新性的工具，它利用机器学习技术将一个图形用户界面（GUI）的截图转换成对应的代码。这个工具对于开发者来说非常有用，因为它可以节省大量的时间，尤其是在构建用户界面时，需要重复编写...
pix2pix：使用生成对抗网络进行图像到图像的翻译
02-04
Pix2Pix是一种基于生成对抗网络（GANs）的深度学习技术，主要用于图像到图像的转换任务。这个模型由Isola等人在2016年提出，它的全名是“Image-to-Image Translation with Conditional Adversarial Networks”。在...
pix2vox：使用堆栈式生成对抗网络进行基于草图的3D探索
02-06
pix2vox 堆叠式生成对抗网络基于草图的3D探索。生成的样本单类别生成多类别生成要求以下python软件包是运行该应用程序所必需的。 如果您正在使用 ，则可以轻松安装VTK5和PyQt4（或者可能已经安装）。 （建议使用GPU...
pix-js:JS类生成静态PIX代码
05-26
生成可支付的静态pix代码的类 关于该项目 如果您需要使用Javascript创建QR码pix，此类可以为您提供帮助。 内容基于。 项目目标 了解PIX 生成自定义的PIX代码 用javascript练习课程 例子 创建金额为R $ 5.50的...
Java2Plantuml:生成PlantUML的Java源代码
05-21
Java2工厂 从Java源生成PlantUML源文件的工具。 参见 @startuml img/default-all.png ' --- package java2plant.model{ class ClassFilter { - classes:ClassList - filters:ArrayList<String> + ClassFilter(classes:ClassList): + getClasses():Collection<ClassDescriber> + add(filter:String) + getSize():int + getElementAt(index:int):Object + classExists(className:String):boolean } ' ----- end class ClassFilter ClassFilter
Plantuml2code:该项目旨在允许开发人员从Plant UML类图生成python代码。
05-11
plantuml2code 该项目旨在允许开发人员从Plant UML类图生成代码。 当前支持的语言： Python C 如何使用： 定义一个PlantUML类图： PlantUML是生成UML绘图的简单语法： 使用指定的语言和图表路径作为参数启动plant2code（也可以指定要在何处生成代码） $ plant2code python path/to/plantuml_diagram.txt /tmp/output 就是这样 ！ 您的代码已生成，现在您应该按照待办事项指示（在代码内部以注释形式打印）完成代码。 说明文件： Usage: plant2code <python> PLANT_UML_FILE [OPTION]... (1st form) or: plant2code <python> PLANT_UML_FILE OUTPUT [O
swiftuml:从快速的源代码生成plantuml类图的脚本
05-25
Swift转到PlantUML 使用SourceKitten和PlantUML从快速的源代码生成UML类图。 用法 sh plantuml.sh demo.swift 如果您现在想在多个文件上运行，可以执行以下命令行功夫操作，如下所示 ls -d "/directory/full/of/swift/files/"* | xargs -L 1 sh plantuml.sh | pbcopy 或者如果您列出具有全路径的文件 cat ~/Downloads/listOfFilesWithFullPath.txt | xargs -L 1 | xargs -L 1 sh plantuml.sh | pbcopy 一旦它的一切复制到剪贴板（MacOS的），你可以将其粘贴在文本编辑器取代多个@startuml和@enduml块，并在底部具有在顶部只有一个startuml和enduml sh
pix2code
sinat_38240913的博客
02-21 114
pix2code文章
plantuml转代码
qq_43847263的博客
06-28 1484
plantuml转代码github中的安装开始运行 现在大多数文章都只有plantuml的安装与简介或者代码转plantuml的方法，所以我在github中找到了一种plantuml转成代码的方法，与大家分享一下（在这里展现转换为java代码的方式，实际上可以转成的代码种类很多 ） github中的安装 https://github.com/jupe/puml2code 下载zip并解压后，在文件夹中打开cmd 并运行一下内容进行安装 npm install 开始运行 在其中的bin文件夹下打开cmd
使用PlantUml VSCode 快速生成UML
richard9006的专栏
12-11 3544
1.PlantUML https://plantuml.com/zh/ 一个UML的DSL语言, 网站有快速的显示地方, 语法也很简单. https://plantuml.com/zh/running 有各种工具 目前推荐VS Code打开 2.GraphViz 绘图的 http://www.graphviz.org/Download_windows.php 需要设...
pix2code总结
柯同学要谦虚
07-08 1537
Keyword DSL，即领域特定语言，它是一种为解决特定领域问题，而对某个特定领域操作和概念进行抽象的语言。 • 外部 DSL，即创建一个专用目的的编程语言。诸如用于 BDD 测试的 Cucumber 也是一种外部 DSL，从某种意义上来说，用于写作的 markdown 也算是一种 DSL。它们通常都需要语法解析器来进行语法分析，并且通常可以在不同的语言、平台上实现。 • 内部 DSL，即：指与项目中使用的通用目的编程语言（Java、C#或Ruby）紧密相关的一类 DSL。它是基于通用编程语言实现的，由它
Pix2Code 教程
最新发布
gitblog_00820的博客
08-09 535
Pix2Code 教程 pix2codepix2code: Generating Code from a Graphical User Interface Screenshot项目地址:https://gitcode.com/gh_mirrors/pi/pix2code 项目介绍 Pix2Code 是一个研究性项目，由 Tony Beltramelli 发起，展示了如何利用深度神经网络将图形用...
pix2code：从UI截图直接生成代码的神经网络工具
x32sky的专栏
09-11 1744
当前端同学被UI设计折磨的时，当你崩溃着想让界面看起来与设计稿相同时，脑海中一定有过很多种将图片直接生成代码的幻想吧。是的！黑科技出现了！ 最近一个名叫pix2code的项目，通过深度神经网络，可以从截图直接生成 UI 代码，牛不牛逼！ 啥也不说了，先来看看视频内容： pix2code 是由UIzard的哥本哈根创业公司开发的，目前pix2code所生成代码的准确率已经达到77%，并且能够兼
利用pix2code模型将GUI图像转化为HTML/CSS代码
qq_31207499的博客
01-10 406
本文是用pix2code进行的一次实验，论文地址：https://arxiv.org/abs/1705.07962，详情见博客原文！ 在此之前笔者也写过一篇该论文解读的文章，感兴趣的朋友们可以康康：《pix2code 论文解读》 ...
pix2pixhd生成器测试代码
08-08
以下是一个基本的pix2pixHD生成器测试代码示例： ```python import torch from PIL import Image from torchvision import transforms # 加载预训练模型 model = torch.hub.load('NVIDIA/DeepLearningExamples:...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值