扩展EGL支持Google App Engine Datastore数据存储

1 简介

建议：读者在开始做对Google App Engine的扩展之前，需要了解和具备以下的基础知识：

• EGL以及EDT的知识
  
• Google App Engine的数据存储（Data Store）部分
• Eclipse插件开发的知识和经验
• Java EE的基础知识

    EGL作为一门业务语言，提供了一套抽象的面向业务开发的语言模型。EGL程序员能利用这套面向业务的语言模型方便、快捷地开发出跨平台的、跨语言的各种业务系统。EGL针对业务系统里经常用到的数据访问操作定义了一系列语句，比如，

• get：从某数据源里取得数据
• add：往某数据源插入数据
• replace：向某数据源更新数据
• delete：从某数据源删除数据

     这些EGL提供的抽象的数据访问的操作语句，可以进行扩展。如下图所示，这些抽象的数据存取操作可以是EGL现在已经支持的基于Java JDBC关系数据库的实现，也可以是基于Java的文件系统的实现，或者是.net C#的ODBC实现等，甚至是Google App Engine提供的Datastore数据存取实现。

GoogleApp Engine提供了一种不同于关系型数据库的数据存储，基于BigTable的Datastore。通过把EGL数据操作语句扩展到Datastore，EGL使用者可以在不了解Datastore技术细节的情况下轻易写出能够利用Datastore存储的应用程序。甚至可以几乎不做改动的将一个使用SQL存储的程序切换成使用Datastore存储。由此意味着EGL程序员在不改变应用程序的前提下，通过扩展EGL，能毫不费劲地把一个基于Java JDBC关系数据库实现的应用无缝的迁移到任何新出现的平台上（包括我们即将要实现的扩展GAE BigTable DataStore），这样能大大提高应用程序的开发效率和降低开发成本。

    这篇blog介绍如何扩展EGL中的add语句来调用GAE的存储API，带领大家一起来学习EGL是如何在语言模型、代码生成器上进行扩展的。

2. 开发目标

     本文的目标是扩展EGL，用于实现和Google App Engine数据存储的集成。我们展示了如何用EGL语言来实现向GoogleApp Engine数据存储中插入实体数据的过程，并给出一个包括EGL Rich UI和EGL REST Service的样例，最终将该样例部署到Google App Engine上。

3. 扩展过程概述

    这里先大概介绍一下进行EGL扩展的策略。

    第一，需要先掌握目标扩展平台的相关知识；

    第二，参考现有的EGL语言模型，看是否能够适应要扩展的目标平台；

    第三，手工先实现一下将要被生成的目标平台的代码，为实现自己的代码生成器做准备；

    第四，总结目标生成代码，决定是否有必要提炼出一个目标平台的运行时，以方便代码生成。

3.1和3.2简单概述了扩展EGL的步骤，具体的细节，请参考章节4、5和6。

3.1 模型扩展

    通常，针对数据模型的存取，EGL会提供一个数据源（DataSource）作为数据存取和访问的入口点。如针对关系数据库，用户可以使用SQLDataSource来进行数据的增、删、改、查。

    同样，如果需要向GoogleApp Engine的数据存储（Data Store）进行数据的存取和访问等操作，也需要一个数据源，这就需要我们对已有的EGL模型进行扩展。以下是扩展的一个简单流程：

• 创建Google App Engine的数据存储的数据源GAEDataSource。
• 定义和Google App Engine的数据存储相关的EGL模型。
•  向EGL编译器注册自定义的EGL模型。

3.2 代码生成器扩展

   在扩展完GAEDataSource和相应的EGL模型后，还需要对代码生成器（EGL Generator）进行扩展，从而生成相应的和Google App Engine相集成的Java代码。

   基于Java的代码生成器的扩展，一般有两种方式：

• 创建新的代码生成器。一般是创建新的代码生成器如GAEGenerator、相应的模板以及模板的描述文件templates.properties，并且需要对界面作一些扩展。
• 扩展已有的代码生成器。这种情况相对简单，一般只需创建新的模板以及模板描述文件templates.properties即可。

   在本文中，我们采用第二种方式。关于如何扩展代码生成器，读者可以参考DW中国上的EGL系列文章的第四篇来了解更多详细信息【待定】。

4. 设置开发环境

4.1 装GAE插件

    关于如何安装和配置GAE插件，读者可以访问Google App Engine的官方文档https://developers.google.com/appengine/downloads#Download_the_Google_Plugin_for_Eclipse去自行安装和设置。

4.2 安装设置EDT开发环境

    关于如何安装EDT以及配置EDT等具体的技术细节，读者可以参考在线帮助文档“EGL语言从入门到精通：http://blog.csdn.net/rationalgroup/article/details/7336753”。

4.3 设置开发工作空间

    在安装和配置完GAE和EDT插件后，读者需要从Eclipse的CVS上检出EDT相关的源代码。具体步骤如下：

• 切换到CVS Repository Exploring透视图下
• 增加一个CVS Repository： pserver:anonymous@dev.eclipse.org:/cvsroot/tools
• 在CVS Repositories视图中，导航到EDT的目录下，如图所示：

检出所需要的插件项目。在这里读者需要注意的是应该检出每个项目的EDT080GM版本，如图所示：

• 用以上方法检出所需要的以下插件项目（当然读者也可以将org.eclipse.edt下所有插件项目都检出到工作空间中）：
  • org.eclipse.edt.compiler
  • org.eclipse.edt.ide.compiler
  • org.eclipse.edt.mof.egl
  • org.eclipse.edt.runtime.java
    

5. 模型扩展

5.1 创建GAEDataSource外部类型

Google App Engine的数据储存代表一个新的数据源，因此在这里我们需要创建一个新的EGL版型GAEDataSource来表示它。

在插件org.eclipse.edt.compiler中新建一个EGL包eglx.gae，并创建一个外部类型（ExternalType）。这个外部类型用于定义一个DataSource，用于和其他DataSource进行区分。

externalType GAEDataSource extends DataSource type NativeType  
end

GAEDataSource的程序目录结构

创建完外部类型以后，需要运行tools/build-CompilerEGLAR.xml的ANT脚本来在lib目录下编译生成相应的EGLAR文件edtCompiler.eglar。

接下来需要在插件org.eclipse.edt.runtime.java中添加一个空实现的Java类eglx.gae.GAEDataSource.java。具体的程序结构读者可以自行参考附件中的样例程序【

http://download.csdn.net/detail/rationalgroup/4326397   】。

5.2 扩展EGL Model

在创建完GAEDataSource以后，需要扩展相应的EGL Model来标识和Google AppEngine数据储存相关的模型。在本文中，我们仅给出add语句的样例，读者可以参考这个实现来实现其他的抽象语句（如get, replace, delete）。

首先在EDT中创建一个插件项目org.eclipse.edt.mof.eglx.gae，右击该项目，在右键菜单中选择Configure -> Convert to EGL Project，这样该项目就转换成一个EGL插件项目。

在该项目中创建一个EGL源文件GAEActionStatement.egl：

externalType GAEActionStatement extends IOStatement type MofClass  
end  
  
externalType GAEAddStatement extends GAEActionStatement, AddStatement type  MofClass  
end  

同时需要在该插件中创建与以上所定义的EGL Model相对应的Java类（参考样例程序【 http://download.csdn.net/detail/rationalgroup/4326397 
】），这个插件的目录结构如图所示：

org.eclipse.edt.mof.eglx.gae插件

运行tools/build-MofEglMOFAR.xml生成egllib下面的mofar和eglar包：gae.eglar和gae.mofar（读者可以拷贝样例程序中的Ant脚本到该项目中）。

这个插件的作用类似于源代码中的org.eclipse.edt.mof.eglx.services插件，具体的Java接口和实现读者可以参考这个插件。

5.3 注册扩展EGL模型

    创建完EGL Model以后，我们需要在EGL的Compiler插件org.eclipse.edt.compiler注册这些模型，使得Compiler可以识别这些新定义的EGL Model。

• 在插件org.eclipse.edt.compiler添加类org.eclipse.edt.compiler.internal.egl2mof.eglx.gae.GAEActionStatementGenerator。这个类作用类似于org.eclipse.edt.compiler.internal.egl2mof.eglx.services.ServicesActionStatementGenerator用来把新定义的外部类型和EGL compiler链接在一起。具体的源码读者可以参考附件中的样例程序 http://download.csdn.net/detail/rationalgroup/4326397  。
• 把类GAEActionStatement注册到类org.eclipse.edt.compiler.EDTCompiler。加入
•  path +=SystemEnvironmentUtil.getSystemLibraryPath(GAEActionStatement.class,"egllib");
• 把插件org.eclipse.edt.mof.eglx.gae 注册到类org.eclipse.edt.ide.compiler.IDEEDTCompiler。加入
•  path +=getPathToPluginDirectory("org.eclipse.edt.mof.eglx.gae","egllib");
• 把类GAEActionStatementGenerator注册到类org.eclipse.edt.compiler.internal.egl2mof.Egl2MofStatement。加入
• IOStatementGenerator.Registry.put("eglx.gae",GAEActionStatementGenerator.class);

6. 代码生成器扩展

6.1 扩展代码生成器

    在完成EGL Model的定义和相应的Compiler注册以后，我们需要为这些新定义的EGL Model来定制和扩展相应的EGL Generator，用来产生和Google App Engine集成的Java代码。

    新建一个GAE模板项目org.eclipse.edt.gen.java.templates.eglx.gae（读者可以参考SQL相关的模板项目org.eclipse.edt.gen.java.templates.eglx.persistence），并创建相应的模板GAEAddStatementTemplate。源代码如下：

public class GAEAddStatementTemplate extends org.eclipse.edt.gen.java.templates.StatementTemplate {  
  
    public void genStatementBody(GAEAddStatement stmt, Context ctx, TabbedWriter out) {  
  
        Expression expression = stmt.getTarget();  
        Type type = expression.getType();  
  
        EGLClass targetType = (EGLClass) type.getClassifier();  
  
        String recordName = targetType.getName();  
  
        out.println("com.google.appengine.api.datastore.DatastoreService datastore = com.google.appengine.api.datastore.DatastoreServiceFactory.getDatastoreService();");  
        out.print("com.google.appengine.api.datastore.Entity ");  
        String googleEntity = "google_" + recordName;  
        out.print(googleEntity);  
        out.print(" = new com.google.appengine.api.datastore.Entity( " + "\"" + recordName + "\"" + " )");  
        out.print(";");  
        out.println();  
  
        for (Field f : targetType.getFields()) {  
  
            out.print(googleEntity + "." + "setProperty(\"");  
            ctx.invoke(genName, f, ctx, out);  
  
            TabbedWriter temp = ctx.getTabbedWriter();  
            ctx.invoke(genExpression, expression, ctx, temp);  
            String varName = temp.getCurrentLine();  
            out.print("\"," + varName + ".");  
            ctx.invoke(genName, f, ctx, out);  
            out.print(");");  
  
            out.println();  
        }  
  
        out.print("datastore.put(" + googleEntity + ");");  
  
    }  
}  

同时，需要创建一个模板文件用于把新定义的EGL Model和相应的Generator绑定在一起,源文件如下:

org.eclipse.edt.mof.eglx.gae.GAEAddStatement = org.eclipse.edt.gen.java.templates.eglx.gae.GAEAddStatementTemplate  

到此为止，和GoogleApp Engine数据存储集成相关的EGL扩展就完成了，接下来我们将给出一个样例来展示如何使用扩展后的EGL来实现和Google App Engine数据存储集成，并且部署到Google App Engine上。

7. 样例

7.1 开发样例程序

创建一个EGL RichUI项目“RuiTesting”，选择“Web2.0 client application withservices”作为模板。

在RuiTesting项目里，创建一个EGL Record，源代码如下：

record OrderItem  
    itemId int{@Id};//{@Id, @GeneratedValue };  
    //NAME string{@GeneratedValue};  
    name string{ @Column { insertable=true } };  
end  

创建一个EGL REST Service，源代码如下：

service HelloService  
    function sayHello(name string in) returns(string)  
        itemEntity OrderItem;  
        //ds SQLDataSource? = new SQLDataSource("jdbc:derby:C:/databases/EGLDerbyR7;create=true");    
        ds GAEDataSource? = new GAEDataSource();  
          
        add itemEntity to ds;  
        return("Hello World:" + name);  
    end  
end  

最后，创建一个RUI Handler来调用Service。在按钮的事件中来调用Service，源码如下。完整的程序，读者可以参考样例的下载。

function serviceButton_onClick(event Event in)  
        call helloService.sayHello(nameField.text) returning to handleReturn onException Exceptionhandler;  
    end  
      
    function handleReturn(results string in)  
        SysLib.writeStdout("Got service result:" + results);  
    end  
      
    private function Exceptionhandler( exception AnyException in)  
        handleException(exception, null);  
    end  
      
    private function handleException( exception AnyException in, srvc string? in)  
        SysLib.writeStdout(exception.message);  
    end  

EGL Service产生的Java代码如下，这里调用了Google AppEngine数据存储的API。

public String sayHello(String name) {  
        OrderItem itemEntity = new OrderItem();  
        GAEDataSource ds;  
        ds = new GAEDataSource();  
        com.google.appengine.api.datastore.DatastoreService datastore = com.google.appengine.api.datastore.DatastoreServiceFactory.getDatastoreService();  
        com.google.appengine.api.datastore.Entity google_OrderItem = new com.google.appengine.api.datastore.Entity( "OrderItem" );  
        google_OrderItem.setProperty("itemId",itemEntity.itemId);  
        google_OrderItem.setProperty("name",itemEntity.name);  
        datastore.put(google_OrderItem);;  
        return (("Hello World:") + name);  
    }  

7.2 部署并在本地运行

Google App Engine的Eclipse插件提供了本地的运行环境。因此，我们在这里介绍一下如何将7.1中开发的样例程序进行部署并在本地运行。

使用EGL Deployment Descriptor Editor来打开RuiTesting/EGLSource/RuiTesting.egldd文件，在Resource Binding标签中，设置URI为http://localhost:8888/restservices/HelloService。

需要注意的是，由于GoogleApp Engine的Eclipse插件所提供的Web Application项目结构并非一个标准的Eclipse下的动态Web项目，为了EGL程序的部署需要，我们需要对GAE的项目结构做一些调整，使得它转换成一个标准的Eclipse动态Web项目。

首先创建一个Google App Engine的项目RuiTestingDeploy，在项目属性的Project Facet中设置DynamicWeb Module的版本为2.4。并设置WAR的目录为WebContent，如图所示。

设置WAR的目录

其次在原有的war目录下，将Google App Engine的部署描述符appengine-web.xml和Log4J的配置文件logging.properties拷贝到WebContent目录下。并删除原有的war目录。

    开始部署样例程序到RuiTestingDeploy中。部署完毕以后，修改下列文件：

• src/RuiTestingDeploy-uri.xml。将contextroot元素的值设置为/restservices（如果开发的是Dedicated Service，则忽略这一步）。
• WebContent/RuiTesting.html。将egl.initParams()函数的第一个参数设置为”.”。

   在GAE环境中，运行RuiTesting.html，关于怎么在本地运行GAE程序，读者可以参考GAE的官方文档。

8. 下一步

本篇博客只是对EGL中的add语句在GAE平台上的扩展做了初步探讨，接下来需要读者实现对EGL里的其它抽象操作语言（replace, delete和get）的扩展实现，并使用扩展后的基于GAE的EGL实现一个针对数据库访问的应用（前台使用EGLRichUI，后台使用基于GAE的EGL服务），并且需要部署在Google App Engine上。