虚拟机ODPS初体验

 

   大数据竞赛的第二阶段需要通过远程桌面的方式连接阿里提供的虚拟机， 所有操作都是在远程主机上进行， 在搞清楚文件回传方式之前真是各种麻烦（写博客都没有办法贴代码）。

    用了两个上午初步上手， 希望接下来进展顺利， 不要第一个月就惨遭淘汰。

 

   首先在cmd 通过mstsc 链接远程桌面，  远程桌面上只有一个我的电脑图标。 C盘目录下的TOOLS文件夹中有eclipse ，python，xlab 和odps客户端等工具。

 

   这一阶段是把结果保存为odps中的一个指定名称的表， 所以直接在ODPS中 用sql操作训练集并生成结果表 比较简单（操作上）， 但是仅仅用sql 很难实现比较复杂的模型，因为我sql是在太渣 。 xlab 中支持sql的批量提交。 登入时需要根据ODPS的配置文件中的信息来填写账户， 这样进入工作空间后就能看见训练集。 并且这个训练集是可以导出的，这也为通过其他方式生成结果表提供可能。

    除了sql外， 也可以通过mr编程来实现分类。 但是要把分类模型写成符合mr的规范还是需要好好想想， 而且提供的框架里 mapper reducer 是分开的两个类文件，要通过某种方式实现全局变量的访问。

 

   根据实例实现了Wordcount 程序，  但是在ide的目录下看不到运行的结果文件， 要到项目空间中自己去找。

 

   这个mr框架貌似输入输出都是表类型， 直接打包后通过在命令行中调用的方式应该就可以生成结果了。 使用mr来实现这一阶段应该是初步方向。 

   

   下一次淘汰在半个月后， 祝好运。