allwefantasy的专栏

排序：
默认
按更新时间
按访问量
RSS订阅

原 2018 技术到产品，中国到世界

前言 16年1月写了篇，这些年，我工作上走过的路，17年1月写了篇2016，我的技术和诗。18年有些遗憾，没有写。 今天又是一个跨年夜，也到了回顾和盘点18年的时候了。 技术到产品 18年技术上我的核心点是如何让算法能够迅速落地，为此分成两个层面进行了探索...

2019-01-01 00:00:00

阅读数：48

评论数：0

原 如何用PyMLSQL操作阿里云ECS

前言 最近一段时间感受了下阿里云和华为云。双方铺的面都挺全。直观上来看， 阿里云控制台有一股浓郁的toC精致范，华为云则是企业简约朴实范，作为互联网熏陶过来的人，我显然觉得前者是更漂亮和舒适的。 华为云应该是这两三年才开始发力，有点晚，而且目前来看还在于铺...

2018-12-28 17:20:00

阅读数：16

评论数：0

原 MLSQL解决了什么问题

数据中台的概念 在谈MLSQL解决了什么问题之前，我们先提一个“数据中台”的概念。什么是数据中台呢？数据中台至少应该具备如下三个特点： 在不移动数据的情况下，提供全司视角数据视图，并且能够将这种能力释放给兄弟部门。 在不干涉其他部门API定义的情况下，提...

2018-12-26 17:32:00

阅读数：138

评论数：0

原 MLSQL v1.1.7 Release roadmap

MLSQL v1.1.7 plans to release in Mid Jan 2019, this version will take almost three weeks. MLSQL v1.1.7 Release Window: Date E...

2018-12-23 16:04:00

阅读数：26

评论数：0

原 MLSQL v1.1.6 新特性：用MLSQL脚本查看API/Configuration

MLSQL有自己的一套doc系统，可以通过标准的MLSQL语句进行获取，可以参看MLSQL-Doc-Slide。 今天我们来介绍下v1.1.6里的新特性。 在MLSQL v1.1.6 版本里，所有启动参数，还有HTTP API文档都是可以被MLSQL操作和...

2018-12-18 11:18:00

阅读数：33

评论数：0

原 MLSQL v1.1.6 新特性：MLSQL-Cluster预览

前言 MLSQL-Cluster 在v1.1.6版本中发布。随着MLSQL部署的实例愈发的增多，有给各条业务线部署的MLSQL instances group,也有给算法组，研发组等等部署的单独MLSQL instances group. 我们希望所有这些...

2018-12-18 10:56:00

阅读数：25

评论数：0

原 MLSQL v1.1.6 版本发布

我们很高兴 MLSQL v1.1.6版本发布。在这半个月的快速迭代中，我们取得了丰硕的成果： 多达163次commit 28个ISSUE 41个PR. PR中bug修正25个，功能增强26个。 重要的新特性： PR-747: 对MLSQL实例提供...

2018-12-18 10:01:00

阅读数：23

评论数：0

原 ServiceFramework作为Java Web框架都有哪些不错的设计

前言 最近需要开发一个纯API的项目，mlsql-cluster，从无到有，到最后完整的proxy功能开发完毕，只花了四个小时不到，自己不尽小感叹了一把 ServiceFramework的高效。 关于ServiceFramework的诞生 ServiceF...

2018-12-11 17:04:00

阅读数：136

评论数：1

原 SQL还是那个SQL么？

前言 今天MLSQL群里有个小伙伴问到，能把Spark, Flink 这些框架运行在黑莓上么? 我回答道：可以作为一个内置SQL计算引擎嵌入(不是数据库)，其他可能没啥用了。 不过这又引起了我的另外两个思考，第一个是，Spark真的能(或者有必要)跑在移动...

2018-11-14 13:18:00

阅读数：1062

评论数：3

原 React问题三则

前言 这两天在用 Blueprint+React+ServiceFramework+MySQL 为主要组件开发一个小玩具，由衷的喜欢React了。为啥呢？非常后端，其实就是大量编写javascript class，而JSX非常类似Scala里的XML,将H...

2018-10-24 22:29:00

阅读数：41

评论数：0

原 MLSQL拥抱BigDL,轻轻松松无编码玩深度学习

前言 原谅我，前半句是真的，后半句是噱头，但是真的很简化了。 MLSQL已经有一个相对来比较完善的Python Runtime,细节可以参看这篇文章，所以玩深度学习是很容易的，不过需要你提供一段tensorflow代码或者项目。 但是我一直认为这应该是高阶...

2018-10-13 17:36:00

阅读数：193

评论数：0

原 MLSQL 对Python的支持之路

前言 Python是做机器学习框架一定要支持的。MLSQL很早就支持集成Python脚本做模型的训练和预测。 训练的使用方式： load libsvm.`sample_libsvm_data.txt` as data; train data as Pyt...

2018-10-07 20:04:00

阅读数：85

评论数：0

原 如何使用MLSQL中的帮助指令学习模块的使用

前言 MLSQL 已经实现了文章中描述的功能 如何实现语法的自解释（MLSQL易用性设计有感） 。 使用方式 在MLSQL中，你只要掌握了load 语法，以及关键词model，就可以让你顺利的找到并且学习和使用一个算法或者数据处理模块。 假设你已经会loa...

2018-09-15 20:29:00

阅读数：92

评论数：0

原 如何实现语法的自解释（MLSQL易用性设计有感）

题图： image.png 突然想明白了一件事， 语法应该是自解释的。什么意思呢，就是用户需要有一个学习语法的语法，而这个语法应该极度简单，他只要花上一分钟，甚至依靠直觉就能知道怎么用，透过这个口，以点窥面，让用户具备自主学习其他语法的能力。 ...

2018-09-15 08:45:00

阅读数：82

评论数：0

原 如何实现AutoML--让机器先做出Baseline

前言 我之前写过一篇如何实现AutoML -- 先Auto每个环节,大致思路是让机器先自动化每一个小环节，每个环节输出唯一一个结果，这样可以极大的简化搜索空间。比如我们有三个环节，A,B,C,分别产出10,10,10种可能，为了得到全局最优，我们需要10*...

2018-09-12 20:08:00

阅读数：75

评论数：0

原 如何用MLSQL快速调试Structured Streaming程序

前言 早上对Structured Streaming 的window函数， Output Mode 以及Watermark有些疑惑的地方。Structured Streaming 的文档偏少，而且网上的文章同质化太严重，基础的不能再基础了，但是我也不想再开...

2018-09-06 14:05:00

阅读数：113

评论数：0

原 如何按程序员思维写分析师脚本

前言 今天无意在在某群里，看到一个很复杂的SQL脚本，join很多,子查询很多，union很多，case when也很多。然后就让我们负责分析师脚本管理的同事给我看了下我们分析师的脚本，我发现随便一个竟然都超了三四百行。这脚本维护起来应该是个噩梦。如果要让...

2018-08-30 16:52:00

阅读数：42

评论数：1

原 为什么需要效率督查团队

前言 上周和杭州某司同学面基，发现我们两同一年毕业，同一年出生，还是老乡，真是颇感意外。本来约好了是聊技术的，结果硬生生的聊成了如何提高团队效率的心得交流会。 最后得到的结论也非常一致,无论我们如何努力，最核心的优化目标就是【效率，能用最快的的时间响应和解...

2018-08-22 12:26:00

阅读数：44

评论数：0

原 对Spark的那些【魔改】

前言 这两年做streamingpro时，不可避免的需要对Spark做大量的增强。就如同我之前吐槽的，Spark大量使用了new进行对象的创建，导致里面的实现基本没有办法进行替换。 比如SparkEnv里有个属性叫closureSerializer，是专门...

2018-08-05 17:20:00

阅读数：59

评论数：0

原 谷歌BigQuery ML VS StreamingPro MLSQL

前言 今天看到了一篇 AI前线的文章谷歌BigQuery ML正式上岗，只会用SQL也能玩转机器学习！。正好自己也在力推 StreamingPro的MLSQL。 今天就来对比下这两款产品。 StreamingPro简介 StreamingPro是一套基于S...

2018-07-27 13:53:00

阅读数：50

评论数：1

提示
确定要删除当前文章？
取消 删除