allwefantasy的专栏

有了前两篇的铺垫，主角MLSQL终于上场了，在部署MLSQL on k8s，笔者参考了这三篇文章（和作者的帮助）：http://docs.mlsql.tech/mlsql-stack/qa...

Spark on k8s，可能都有听说，可是笔者从网上没有找到一个可以顺利运行的例子。笔者也是走了几个弯路才顺利跑通的。下面笔者将基于spark native方式部署，分别讲解如下三种模式...

Spark运行一次SQL，根据SQL的具体执行情况，可能会产生很多垃圾。譬如你可以很容易观察到的就是在Spark UI上跑完SQL后会有Storage Memory的占用：这个应该是SQ...

因为已经有非常好的文章介绍G1了，所以这篇文章只会提供一些我觉得特别好的文章信息，帮助大家从茫茫的信息海洋里节省时间。祝威廉如何看懂G1的GC日志非常重要，因为我们需要通过日志进一步了...

为什么我们需要调GC如果是在以前，ETL为王的年代，我们其实大可不必去调试，使用默认的 Parallel GC就可以了。但是随着发展，实时流计算以及AdHoc查询，对JVM的要求：高吞吐...

问题描述使用Spark写复杂SQL时，我们经常会遇到两个尴尬的情况：表里的单个文件都很大，而且因为record比较小，所以单个文件的record数量巨大。表里每个分区都有成百上千个小文件...

前言从开始工作，我一直会问自己这么两个问题：1. 我有足够多的工具提升自己效率么？2. 我有足够好的平台去提升团队效率么？效率在我看来是至关重要的。关于我对效率的理解，还可以看看我这篇文...

百花齐放的大数据生态17，18是计算引擎火热的两年，19年已然是红海了。计算引擎中的王者是Spark，综合指标最好，生态也好，当其他引擎还在ETL,交互查询，流上厮杀时，Spark已经在...

0x00 前言自己也没想到马上会有第三篇了。今天重点讲讲我对感悟（一）中提及的“解决方案设计团队”的看法。其实这个名字是我瞎起的，对应的是大家熟知的“算法团队”或者“机器学习团队”。0x...

0x00 前言在进入本文的主题之前，先讲两件事。第一件事，是Spark 3.0 开始重构shuffle部分，用以支持remote shuffle。这意味着我们终于可以为shuffle专门...

昨天看了一篇文章，里面有段话讲的比较务实：开发效率，从平台发展的各阶段实践中，我们发现，对于一个统计任务/算法任务/风控任务，如果采用传统的编程思维方式去实现，那么只能通过堆开发人员，去...

什么都等到痛了才去做，要你何用。​在我们的内心世界，我们认为痛点驱动是一个理所当然的事情。只有有了痛，我们才有动力去解决它。奈何能感受到痛点的是人，而人基因里就包含了一件事，就是会忍受，...

先抛出结论（毕竟我们号称一站地铁短文）：无论什么新技术名词（概念），不要去抵触，试着去了解，最好是能从其中学习到一些好的东西。名词（概念）本身并没有那么重要。和具体技术不一样，技术名词（...

很多对技术持有保守心态的人，总是希望某项技术烂大街以后再买入，但是技术本身并不是凭空而来的，而是实际的需求驱动的。这意味着，当它烂大街的时候，其实可能已经不能支撑现阶段公司业务的诉求了。...

技术调研是个技术上很有【挑战】，同时也是一个比较【艰苦】，也考验一个人的技术【品味】的任务。所以让一个新手去调研，这明显属于为难新手，并且大概率会得到一个不甚“真实”的调研结果。当然了，...

前言19年，在一些技术思维上形成了几点套路，不过目前还没有成体系，所以想到啥就写啥了，算是一个记录，避免自己以后忘了。技术调研不要交给新手技术调研是个技术上很有【挑战】，同时也是一个比较...

最近在知乎新开了一个专栏，<数据湖Delta Lake 深入解析>，具体链接请大家查看原文链接啦。这个系列不讲API用法（毕竟官网的Docs已经足够），不讲源码（枯燥并且影响...

大数据中台建设其实已经如火如荼了。我们在这里也不去纠结是中台还是平台，总之形态就是登录web后就可以使用各种大数据引擎进行数据探索，分析，机器学习等工作，大家可以在上面写SQL,Pyth...

前言已经很少写Spark的文章了，但是因为以前写的挺多的，所以还是有很多人会和我交流Spark相关的内容。这篇文章我会把我经常被问到的几个问题整理下，也可以避免以后反复讲，因为可以直接把...

今天正好和以前的一个老朋友通了个电话，他在创业，其实做的还可以，业务发展的也不错。但是做互联网服务，尤其是内容服务，不可避免的需要譬如推荐，搜索，精准推送等功能，而这几个功能，又比较依赖大数据和AI相关的体系。举个最简单的例子，获取用户访问行为，然后做个协同，然后推荐时需要把用户看过的内容过滤掉，就这个可能就需要Flume,Kafka,流式引擎等，更别提然后还要归档日志（或者进入数仓）了。我以前就...

前言应该说，Delta是最近几年Databricks开源的最有价值的东西。Databricks这几年对外致力于AI,对内则努力给客户提供一站式分析处理平台。这个一站式的核心是，内核包含了流和批的真正统一，那什么才是真正的流和批的统一呢？引擎内核统一API统一数据存储统一其中1,2两点Spark开源项目已经完成，而第三个，其实一直是没有一个好的...

今天是到台北第三天，也是第二次来台北了。台北是个很舒适，很适合生活的城市。这两天来基本就是以酒店为中心，方圆一公里活动，主要有三个活动内容：睡觉找食写代码，写文章台北美食里，家庭作坊式的...

前言MLSQL Stack 都有哪些应用场景呢？毕竟现在是个场景为王的时代。其实MLSQL Stack有无限的可能性等待大家挖掘。下面我们提一些已经在应用的。数据同步组件比如从各个数据库里把数据同步到HDFS上。## ETL平台配合调度，传统的批处理平台。流式平台MLSQL 很好的支持了Structured Streaming.开发平台什么意思呢？就是根据业务需求，用M...

什么是MPIPMPIP 是新Feature提案。全称 MLSQL Project Improvement Proposals 。当然这个是学习Spark 的 SPIP，作为一个较为稳定成熟的项目，后续增加较大的功能特性会比较慎重，所以需要通过Improvement Proposals的方式来进行规范化，以后也方便回顾。1.3.0开发版最新的三个MPIPs在MLSQL 1.3.0 开发版中，我...

什么是MPIPMPIP 是新Feature提案。全称 MLSQL Project Improvement Proposals 。当然这个是学习Spark 的 SPIP，作为一个较为稳定成熟的项目，后续增加较大的功能特性会比较慎重，所以需要通过Improvement Proposals的方式来进行规范化，以后也方便回顾。1.3.0开发版最新的三个MPIP...

前言今天看了下项目的first commit log, 发现再过几天，就已经三年整了。commit bbf08489f2e3c58afd584e03b8c9c83d25c63b3bAuthor: WilliamZhu <allwefantasy@gmail.com>Date: Thu Apr 28 15:04:13 2016 +0800open-source versi...

背景部门算法团队开始成长起来，开始有越来越多的尝试以及成果，但是现在工程方面严重的限制了（主要是做预测服务）他们的研究成果转化为实际输出的能力。去年下半年，我们就发现TF官方的Java binding 存在严重的内存泄露问题，而TF Java binding 因为封装包括训练和预测所需要的API,比较复杂，我们也难以更改。同时，使用TF serving，...

前言MLSQL Stack 包含如下几个组件：MLSQL Engine v1.2.0MLSQL Cluster v1.2.0MLSQL Console v1.2.0MLSQL Stack v1.2.0发布时间距离上个版本v1.7.1.1 已经有接近3个月了。这次我们跳过了v1.1.8/v1.1.9 是因为我们会认为v1.2.0能作为第一...

前言MLSQL 语法非常简单，只有：setselecttrain/run/predictsaveload等几种语法。因为MLSQL为了简单起见，对扩展新语法是非常抵触的。比如，用户很希望能查看一张表的schema,在MLSQL中需要这么用：run command ShowTableExt.`tableName`;比如杀一个任务，需要...

前言MLSQL 有一段时间致力于融合大数据平台和算法平台，实现 【同一个平台，同一个语言。】。事实上我们通过各种方式做到了,通过整合Spark ML,Spark ML周边，以及Python的支持（环境使用Conda）来完成，但是依然不够完美。为什么呢？大数据和算法的计算模型的不一致性大数据的框架通常是把数据做切分，然后每个数据集我们叫partitio...

前言我今天正好想做两个事，第一个是，我想把我简书内容备份下来，但是官方提供的备份功能只能备份成markdown,然后发现图片没办法备份。所以我需要把我简书里的所有图片下载下来。第二个是，我要下载一些jar包，但是只有jar包的名字，没有下载链接，我想生成这些链接然后用wget下载下来。作为一个程序员，我肯定是要写脚本啦，可以是shell脚本，可以是p...

前言我之前写了篇很简单的去描述了MLSQL Cluster 路由策略。有朋友就问，有没有一个更清晰一点的设计说明。这篇内容就是为这个目标而写的。场景脱离场景说设计就是扯淡。所以，MLSQL Cluster适用的场景是是什么呢？不同业务线需要不同的MLSQL Engine.同一个业务线也可能需要多个MLSQL Engine同一个业务可能需要多个...

技术负债在技术圈，有一个债务术语叫【技术负债】或者【技术债务】。【技术负债】带来的显性和隐性成本是非常高的。显性的是技术不给力， 运营/产品/商业团队都很难受，而这种难受实际带来的损失会比想象的大，甚至对整个公司的前景都产生了影响。第二个是隐性的，隐性的是指 虽然你随便找个团队都能把某件事情(系统)做出来，但是这个事情（系统）埋的雷太多，它只是跑起来了，但其实不能持续的跑。不能持续的跑体...

前言我之前写过一篇文章叫如何按程序员思维写分析师脚本，这里主要是在两方面帮助分析师：将程序员一些较为高效的工作模式转移到分析师身上，这包括脚本片段复用，脚本include,工程项目，视图等。MLSQL平台提供这些思维的功能支持。迄今为止，在之前文章提到的所有功能点，都已经在MLSQL中实现。当然，拥有这些还是远远不够的，因为SQL语言自身的设计...

前言MLSQL支持标准的Spark DataSource数据源。典型使用如下：load hive.`public.test` as test;set data='''{"key":"yes","value":"no","topic":"test","partition":0,"offset":0,"timestamp":"2008-01-24 1...

前言权限控制，对于MLSQL而言的重要程度可以说是生命线。 MLSQL需要面对各式各样的资源访问，比如MySQL, Oracle,HDFS，Hive,Kafka,Sorl,ElasticSearch,Redis,API,Web等等，不同用户对这些数据源（以及表，列）的权限是不一样的。传统模式是，每个用户都需要有个proxy user,然后到每个数据源...

前言MLSQL Cluster 具备多MLSQL Engine 实例管理功能，实现负载均衡，多业务切分等等功能。负载均衡MLSQL Cluster 有一个和MLSQL Engine完全一致的 /run/script 接口，参数也是保持一致的。如何查看该接口详细参数以及MLSQLCluster 有什么接口，可以参看 MLSQL初学者常见问题QA（...

昨天还是前天，正好看到朋友圈里大家都在发AI前线推的一篇文章。数据中台已成下一风口，它会颠覆数据工程师的工作吗？, 个人认为风口谈不上，但是确实是技术发展到一定程度的产物。这里的技术不仅仅是大数据，也是后端，前端技术前进的共同产物。N年前我们是想都不会想这件事情的，因为技术上很难达到。文章认为数据中台出现的原因是为了弥补数据开发和应用开发严重不匹配而出现...

MLSQL-Engineclone项目git clone git@github.com:allwefantasy/streamingpro.git编译cd streamingproexport MLSQL_SPARK_VERSION=2.4./dev/package.sh你会在如下目录发现一个jar包：streamingpro-...

常见问题集锦MLSQL 架构图有么？数据源有详细参数配置文档么？...后台是怎么区分batch还是streaming的？比如我load kafka，同时又load hbase,mysql或者es，这种情况下底层对应的作业时 streaming的还是batch的，逻辑都是在window范围内执行的吗engine本身是个spark的app，里面提供的...

之前我写了一篇关于数据中台和数仓的关系 的文章，里面理清了数仓和中台的关系。后面我了解到更通用的技术词汇去表达数据管理的两种方式： 数据联邦和数据仓储。显然传统的数仓采用的是数据仓储的概念，而中台则更合适的是数据联邦，同时，在中台看来，实际的数据存储应该是联邦以及仓储混合的模式。但是我发现很多公司在组建数据部门的时候，第一步都是通过hive建立数仓，但...

前言MLSQL Console是1.2.0发布前最重要的一个产品。MLSQL Console提供了除交互界面以外，还有很多其他重要的意义：提供了一套自助化的用户账号和权限体系。提供了脚本管理功能展示了大量如何和MLSQL Cluster / MLSQL Engine 进行交互的方式，用户可以据此开发自己的Console另外，权限我们目前是到表...

MLSQL ConsoleMLSQL Console 的账号权限体系设计就是用户自己玩，没有超级管理员。设计的角色有：User （任何人都可以MLSQL Console去注册）Team （任何人都可以创建任意组Team）Role （在特定Team下用户自己创建角色）Table (表是所有操作的对象)AuthType (表的权限类型，比如loa...

概览MLSQL Console 是一款集数据研发，数据分析，机器学习等于一体Web产品。他的目标是让产品，运营，分析师，研发，算法等都有一个统一的数据工作台。这篇文章重点面向产品和运营，在该文章中，他们会学习到如何在该平台上操作excel,关联多个excel，同时将结果进行图表化。工作区介绍image.pngimage.png...

传统数仓传统数仓有几个特点：数据具有历史性基于文件存储以表为形态，自带元数据存储（比如Hive）在数仓的数据是其他数据的拷贝或者拷贝的加工传统数仓需要拷贝数据的重要原因是因为基于数据和存储需要尽可能的近。所以我们需要把MySQL等数据源的数据同步到数仓，才能进行进一步处理，另外传统数仓更关注的是数据的历史状态，所以导致数据规模庞大。 数仓本...

MLSQL Console 介绍MLSQL 目前已经初步有一套Web Console 供使用。界面相对来说也比较清爽。我们先来看看一个尝鲜版本。image.png左侧是脚本区，右侧分别是快捷菜单，脚本编辑区，命令区，信息显示区，工具和可视化，最下面是数据呈现。我们打开Quick Menu,image.png红色元素都是可...

excel的支持我一直期待MLSQL能成为一个真正的数据中台，但是推广一段时间，发现产品和运营体系的同学好像还没有接进来。当然这个有多方面原因，比如用户界面不够易用，对非编程人员不够友好等等。其实最大问题在于，他们发现这个东西没有他们使用的场景，因为他们真正处理的最多的数据格式其实是excel，而你的平台不支持。其次是，一般excel我都是各种渠道搞到的...

前言最近有赞，新东方，还有掘金社区的公开信，也算是反应了企业成本控制这个重要的话题了。对此，笔者也有了些不连贯的思考记录与此，就当便签了。稳定 快速 成本和计算机里的CAP一样，企业发展的稳【定 快速 成本】也是三者只能求其二。但是走任何一个极端都是不行的，在中国互联网，因为一直处于整个国家的经济上升期，所以【快速】被拔得太高，对于稳定和成本思考有限...

前言PySpark是Spark 实现 Unify BigData &amp;&amp; Machine Learning目标的基石之一。通过PySpark,我们可以用Python在一个脚本里完成数据加载，处理，训练，预测等完整Pipeline,加上DB良好的notebook的支持，数据科学家们会觉得非常开心。当然缺点也是有的，就是带来了比较大的性能损耗。...

前言今天朋友圈有篇【阿里技术】发的文章，说Blink的性能如何强悍，功能现在也已经比较完善。譬如：Blink 在 TPC-DS 上和 Spark 相比有着非常明显的性能优势，而且这种性能优势随着数据量的增加而变得越来越大。在实际的场景这种优势已经超过 Spark 三倍，在流计算性能上我们也取得了类似的提升。我们线上的很多典型作业，性能是原来的 3 到...

前言之前的章节里，我们提到目前MLSQL有三个比较重要的组件：MLSQL-InstanceMLSQL-ClusterMLSQL-ConsoleMLSQL-Instance 就是一个MLSQL实例，但是不管什么原因，我们总是需要启动多个MLSQL实例的，这个时候我们就需要有能够管理的和代理转发的工具，这个就是MLSQL-Cluster责任。M...

前言v1.1.7发布后，很快就有小伙伴说在Python使用过程中存在并发创建环境存在问题，例如ISSUE-915, 除此之外还有local本地文件冲突等引起的莫名问题。为此我们紧急修正了这些问题，并且发布了v1.1.7.1文档我们新发布了一版文档，最主要添加了Python环境管理章节。额外小特性另外我们还顺带支持了 Java UDF.Docke...

前言我们很高兴的宣布，MLSQL v1.1.7 历经社区一个多月的高强度开发终于在新年的第一个月发布了。MLSQL v1.1.7 带来了大量的功能特性和稳定性提升。也是v1.2.0 里程碑版发布前最重要的一个版本。下面我们来介绍MLSQL v1.1.7的一些重要功能特性。下文我们把MLSQL里的Estimator/Transformer 简称为 ...

夜深了，，，Paypal黑帮【PayPal Mafia】的传奇估计大家都听说过。过来瞧瞧电子支付的龙头老大Paypal如何使用Spark来解决他们的他们的大数据问题。A 1600 Nod...

夜深了，来学习一下Spark Scheduler，几张slides，通俗易懂，立马领会精妙的Scheduler！有兴趣的同学，还可以读读Matei的Delay Scheduling的原文...

夜深了，来听听两位Spark Committers Erik和Yinan在上个月的KubeCon 2018 Seattle给了一个talk：Deep Dive: SIG-Big Data...

前言16年1月写了篇，这些年，我工作上走过的路，17年1月写了篇2016，我的技术和诗。18年有些遗憾，没有写。今天又是一个跨年夜，也到了回顾和盘点18年的时候了。技术到产品18年技术上我的核心点是如何让算法能够迅速落地，为此分成两个层面进行了探索，一个是技术上的，一个是组织形态上的。技术上如何让机器学习落地基本上汇总在这个专题里了：Spark...

前言最近一段时间感受了下阿里云和华为云。双方铺的面都挺全。直观上来看， 阿里云控制台有一股浓郁的toC精致范，华为云则是企业简约朴实范，作为互联网熏陶过来的人，我显然觉得前者是更漂亮和舒适的。华为云应该是这两三年才开始发力，有点晚，而且目前来看还在于铺面，质量还没上来，尤其是在web交互上和阿里云有一定的距离，目前包括非常基础的ECS服务都还没有SDK...

数据中台的概念在谈MLSQL解决了什么问题之前，我们先提一个“数据中台”的概念。什么是数据中台呢？数据中台至少应该具备如下三个特点：在不移动数据的情况下，提供全司视角数据视图，并且能够将这种能力释放给兄弟部门。在不干涉其他部门API定义的情况下，提供全司视角的（也包括外部API）的API服务视图，并且能够在中台中组装使用。所有的人都可以在数据中台...

数据中台的概念在谈MLSQL解决了什么问题之前，我们先提一个“数据中台”的概念。什么是数据中台呢？数据中台至少应该具备如下三个特点：在不移动数据的情况下，提供全司视角数据视图，并且能够将这种能力释放给兄弟部门。在不干涉其他部门API定义的情况下，提供全司视角的（也包括外部API）的API服务视图，并且能够在中台中组装使用。所有的人都可以在数据中台...

MLSQL v1.1.7 plans to release in Mid Jan 2019, this version will take almost three weeks.MLSQL v1.1.7 Release Window:DateEventLate Dec 2018New features and Improvement...

MLSQL v1.1.7 plans to release in Mid Jan 2019, this version will take almost three weeks.MLSQL v1.1.7 Release Window:DateEventLate Dec 2018New features and Improvement...

MLSQL有自己的一套doc系统，可以通过标准的MLSQL语句进行获取，可以参看MLSQL-Doc-Slide。今天我们来介绍下v1.1.6里的新特性。 在MLSQL v1.1.6 版本里，所有启动参数，还有HTTP API文档都是可以被MLSQL操作和组织的。比如我想知道MLSQL里关于bigdl相关的配置选项：load mlsqlConf.`` ...

前言MLSQL-Cluster 在v1.1.6版本中发布。随着MLSQL部署的实例愈发的增多，有给各条业务线部署的MLSQL instances group,也有给算法组，研发组等等部署的单独MLSQL instances group. 我们希望所有这些MLSQL 实例能够被：统一的管理组内的负载均衡不同组之间互相借用资源同组内的MLSQL 实...

我们很高兴 MLSQL v1.1.6版本发布。在这半个月的快速迭代中，我们取得了丰硕的成果：多达163次commit28个ISSUE41个PR. PR中bug修正25个，功能增强26个。重要的新特性：PR-747: 对MLSQL实例提供了Load balance,动态扩容、缩容特性，以及基于标签的管理功能。具体功能参看：mlsql-cl...

前言最近需要开发一个纯API的项目，mlsql-cluster，从无到有，到最后完整的proxy功能开发完毕，只花了四个小时不到，自己不尽小感叹了一把 ServiceFramework的高效。关于ServiceFramework的诞生ServiceFramework算是一个古老的，基于Java的web框架了。我印象中应该是我11年的作品，那个时候应该...

前言今天MLSQL群里有个小伙伴问到，能把Spark, Flink 这些框架运行在黑莓上么?我回答道：可以作为一个内置SQL计算引擎嵌入(不是数据库)，其他可能没啥用了。不过这又引起了我的另外两个思考，第一个是，Spark真的能(或者有必要)跑在移动设备上么？第二个问题是，在传统Web/App开发领域，SQL只是数据库的一个操作语言（DSL），但是在...

前言这两天在用 Blueprint+React+ServiceFramework+MySQL 为主要组件开发一个小玩具，由衷的喜欢React了。为啥呢？非常后端，其实就是大量编写javascript class，而JSX非常类似Scala里的XML,将HTML变成JS语法的部分,render则更像GUI编程里的东东，组件库也非常多（当然，以为好友推荐我选...

前言原谅我，前半句是真的，后半句是噱头，但是真的很简化了。 MLSQL已经有一个相对来比较完善的Python Runtime,细节可以参看这篇文章，所以玩深度学习是很容易的，不过需要你提供一段tensorflow代码或者项目。但是我一直认为这应该是高阶用户的使用场景，因为你必须要写一个完整的tf/keras之类的代码，这对使用者的要求还是颇高的(当然，...

前言Python是做机器学习框架一定要支持的。MLSQL很早就支持集成Python脚本做模型的训练和预测。训练的使用方式：load libsvm.`sample_libsvm_data.txt` as data;train data as PythonAlg.`/tmp/model1`wherepythonScriptPath="/tmp/t...

前言MLSQL 已经实现了文章中描述的功能 如何实现语法的自解释（MLSQL易用性设计有感） 。使用方式在MLSQL中，你只要掌握了load 语法，以及关键词model，就可以让你顺利的找到并且学习和使用一个算法或者数据处理模块。假设你已经会load语法了，以及你知道了关键词model,除此之外，你就不知道其信息了，你可能会写出如下的语句：loa...

题图：image.png突然想明白了一件事， 语法应该是自解释的。什么意思呢，就是用户需要有一个学习语法的语法，而这个语法应该极度简单，他只要花上一分钟，甚至依靠直觉就能知道怎么用，透过这个口，以点窥面，让用户具备自主学习其他语法的能力。系统如果能从这个层面考虑，那么易用性就会好很多。通常而言，文档少了没安全感，文档多了，寻找到对应的信息...

前言我之前写过一篇如何实现AutoML -- 先Auto每个环节,大致思路是让机器先自动化每一个小环节，每个环节输出唯一一个结果，这样可以极大的简化搜索空间。比如我们有三个环节，A,B,C,分别产出10,10,10种可能，为了得到全局最优，我们需要10*10*10尝试1000次完整计算。而如果每个只取一个局部最优，那么只需要计算30次，虽然最终结果可能不...

前言早上对Structured Streaming 的window函数， Output Mode 以及Watermark有些疑惑的地方。Structured Streaming 的文档偏少，而且网上的文章同质化太严重，基础的不能再基础了，但是我也不想再开个测试的工程项目，所以直接就给予MLSQL来调试。本地启动一个根据streamingpro的文档，...

前言今天无意在在某群里，看到一个很复杂的SQL脚本，join很多,子查询很多，union很多，case when也很多。然后就让我们负责分析师脚本管理的同事给我看了下我们分析师的脚本，我发现随便一个竟然都超了三四百行。这脚本维护起来应该是个噩梦。如果要让一个东西好维护，好管理，那一定需要项目化，如何项目化一个脚本呢？这个其实很像前端，原先前端就是一个h...

前言上周和杭州某司同学面基，发现我们两同一年毕业，同一年出生，还是老乡，真是颇感意外。本来约好了是聊技术的，结果硬生生的聊成了如何提高团队效率的心得交流会。最后得到的结论也非常一致,无论我们如何努力，最核心的优化目标就是【效率，能用最快的的时间响应和解决需求】，无论是支撑业务，还是努力发展创新，帮助公司一起寻找新的增长点。人员扩充和平台建设的副作用...

前言这两年做streamingpro时，不可避免的需要对Spark做大量的增强。就如同我之前吐槽的，Spark大量使用了new进行对象的创建，导致里面的实现基本没有办法进行替换。比如SparkEnv里有个属性叫closureSerializer，是专门做任务的序列化反序列化的，当然也负责对函数闭包的序列化反序列化。我们看看内部是怎么实现的：val s...

前言今天看到了一篇 AI前线的文章谷歌BigQuery ML正式上岗，只会用SQL也能玩转机器学习！。正好自己也在力推 StreamingPro的MLSQL。今天就来对比下这两款产品。StreamingPro简介StreamingPro是一套基于Spark的数据平台，MLSQL是基于StreamingPro的算法平台。利用MLSQL，你可以用类似S...

前言我们知道MLSQL支持SKLearn,TF等流行的算法框架，不过虽然支持了多个实例同时运行，但其实每个模型都需要跑全部数据。有的时候数据太大，确实是个问题，所以这个时候还是需要引入Cluster的。MLSQL基于Spark，所以问题就变成了如何在Spark里集成TF Cluster了。TFoS 已经实现了类似的功能，但遗憾的是，TFoS完全是用Pyt...

前言大数据部发展到一定的阶段，无论是内部体系的完善，还是服务能力对外的暴露，对web端交互能力都有极大的需求，所以对web研发的诉求其实也是非常大的。现在不少web后端工程师还是基于传统的开发模式，通过服务端渲染，把服务端的代码散布在每个div块里，但最终又不可避免的还是需要引入js进行交互，但采用的却是最传统的刀耕火种方式通过&lt;javascri...

前言又是一个超长的标题（摊手┓( ´∀` )┏）。Spark Streaming 历史比较悠久，也确实非常好用，更重要的是，大家已经用熟了，有的还做了不少工具了，所以觉得这东西特别好了，不会像一开始各种吐槽了。反倒是Structured Streaming， 吐槽点比较多，但是到目前，我们经过一番实践，觉得是时候丢掉Spark Streaming 升级到...

先看看做算法有哪些痛点（我们假设大部分算法的代码都是基于Python的）：项目难以重现，可阅读性和环境要求导致能把另外一个同事写的python项目运行起来不得不靠运气和大数据平台衔接并不容易，需要让研发重新做工程实现，导致落地周期变长。训练时数据预处理/特征化无法在预测时复用集成到流式，批处理和提供API服务都不是一件容易的事情代码/算法复用级...

这个话题是我最近一直在思考的，不一定成熟，这篇文章权做笔记前言大数据部门的常见能力如下：报表统计算力/存储输出推荐/搜索/精准营销等传统产品形态通常，大数据部门会花费很大的力气构建数据平台，而这个数据平台除了能让研发，算法，分析师等角色爽一些，从宏观角度很大的节省部门人力成本，提高效率以外，似乎对公司/其他业务部门并无一个直接的输出。这...

MLFlow昨天发了一篇文章Spark团队新作MLFlow 解决了什么问题 描述了我对MLFlow的一些看法，现在想来，Spark团队是非常聪明的，AI同学都有自己的社区，自己的生态，Spark则是在工程研发群体具有很大的影响力，而在AI领域并没有太大号召力。所以它其实是没办法通过一个颠覆性的东西去让AI同学转移过来的，而MLFlow并没有改变AI同学的...

前言中午的时候看到了Spark团队新作MLFlow，因为我本身也在做类似的解决方案MLSQL,自然要看看Meitai是怎么做的。所以第一时间把MLFlow相关文档 浏览了一遍，并且将MLFlow源码 clone下来大致也看了一遍。看完之后，发现工程项目和文档非常干净利落，体现了Spark团队一如既往的工程能力以及对事物分析高超的抽象能力。 这里先说说我...

前言因为需要在MLSQL里开发一个图片处理模块（以及配套数据源），使用上大概是这样子的：-- 通过SQL抓取一张图片，imageBytes字段是一个二进制数组select crawler_request_image("https://tpc.googlesyndication.com/simgad/10310202961328364833") as ...

前言前段时间，我们对接算法的工程师哭丧的和我说，模型生成后一般都要部署成API的形态对外提供服务，但是算法工程师并没有提供如何将一条数据转化特征向量的方法，他能拿到的是代码逻辑以及一些“中间元数据”。数据预处理本来就复杂，翻译也是一件极其困难的事情。我解释了这件事情难以解决的原因，但是显然他还是有些失望。今天的目标就是谈谈如何尝试改善这件事情。解决方...

缘由StreamingPro现在支持以SQL脚本的形式写Structured Streaming流式程序了： mlsql-stream。不过期间遇到个问题，我希望按天进行分区，但是这个分区比较特殊，就是是按接收时间来落地进行分区，而不是记录产生的时间。当然，我可以新增一个时间字段，然后使用partitionBy动态分区的方式解决这个问题，但是使用动态分...

前言先给AutoML做个定义：用户给出可能的raw数据（但是经过标注），机器自动完成整个特征化，模型训练，模型选择/组合，超参数调优，部署上线。最近一直在思考如何提高算法工程师效率，并且能让普通工程师也参与进来，毕竟现在来看，招聘到一个合格的算法成本颇高。经过对现实中很多场景的观察，我发现很多情况下算法训练并没有太多的数据可以用（标注的好的数据是昂...

今晚还是在自己喜欢的一家餐厅用晚餐，约有180个晚餐是在这里吃的了。和餐厅的关系一直很融洽，我会很礼貌对待餐厅的每一位服务生，因为他们确实做的很棒，也蛮感激他们的辛苦劳动的。餐厅对我也很...

部署成API服务时，除了要把raw数据特征化成向量外，研发还要想着怎么加载模型，产生模型的框架五花八门，比如Tensorflow,SKlearn,Spark MLllib等每个框架都有自己的模型格式。在我司，有一次用Sklearn研发了一个模型，研发资源比较紧张，没办法，算法同学治好自己用Python flask搭建了一个API,然后部署成微服务（多实例来...

前言很多时候，比如用structure streaming消费kafka数据，默认可能是得到key,value字段，key是偏移量，value是一个byte数组。很可能value其实是一个Json字符串。这个时候我们该如何用SQL操作这个json里的东西呢？另外，如果我处理完的数据，我想写入到kafka,但是我想把整条记录作为json格式写入到Kafka...

前言通常而言，通用聊天机器人（比如小冰等）底层技术是采用类似Seq2Seq等“生成”技术的。但是这种机器人属于探索性质，无法提供特定的服务。而Siri则是兼具闲聊以及垂直领域功能的，比如可以预约提醒，打电话，定餐厅等特定功能。相信Siri在实现特定预约提醒，打电话功能等，则是使用了“语言模板”匹配技术以及结合分类器来实现精度的控制和定向动作的执行。对...

目标首先CrawlerSQL会包含两个服务：调度服务，比如每个url的抓取周期。抓取服务：调度会给url,抓取服务负责实际的抓取在StreamingPro里，我们仅仅会实现抓取服务，也就是写一段SQL脚本。至于每个脚本什么时候执行是调度服务的事情，这里我们需要区分开来。而且调度也算是一件非常复杂的事情。我希望尽可能复用MLSQL的语法格式，尽量不...

前言昨天媛媛说，你是不是很久没写博客了。我说上一篇1.26号，昨天3.26号，刚好两个月，心中也略微有些愧疚。今天正好有个好朋友问，怎么在Java应用里集成Spark MLlib训练好的模型。在StreamingPro里其实都有实际的使用例子，但是如果有一篇文章讲述下，我觉得应该能让更多人获得帮助追本溯源记得我之前吐槽过Spark MLlib的设计，...

算法和工程之殇算法和工程结合，有两个非常大的痛点：第一个，算法的着眼点是，用最快速的方式清洗一些数据出来，然后接着建模训练，评估预测效果，之后再重复清洗数据，再试验。因为很多算法工程师都是Python系的，对他们来说，最简单的方式自然是写python程序。一旦确认清洗方式后，这种数据清洗工作，最后研发工程师还要再重新用Spark去实现一遍。那么如果让算...

前言搜索团队正好需要计算一些词汇的相似性，这个用Word2Vec是很方便的。于是我立马安排算法团队帮个忙弄下。但回头想想，因为这么点事，打断了算法手头的工作，这简直不能忍。由于我司内部已经在使用基于StreamingPro的Skone平台，通过对SQL做enhance,已经能实现类似hive的脚本引擎了。如果上面的word2vec能直接也用类似sql的...

前言这些天在做ES调优，因为之前更多的是考虑ES的架构和可运维性，并没有过多关注query调优这块。今天一查Query Cache相关的内容，发现是少之又少。于是自己深入Dig了下，总算是有所了解。Query Cache是什么首先 ES Query Cache是实例级别的，作用域是Node实例。其次，ES Query Cache 本质是缓存Query...

背景用户/内容画像的对存储的要求其实是比较高的：能批量更新（比如更新所有用户某个属性）大量随机读取（甚至可能没有热点数据）随机属性更新/添加可持久化易于横向扩展解决性能问题上一次重度使用HBase已经是两年前了。HBase能够满足上面五个要求，所以用HBase作为画像体系的主要存储引擎便水到渠成。问题因为有批量更新，随机属性的更新/添...

初冬的阳光今天AQI指数是22，比房间开着净化器（40）还好些。加上能够和这初冬温度恰好中和的阳光的击打，穿着短裤在阳台的吊床上，也是不冷的。然而阳光还是要点滴洒落的感觉最好，暖暖又不会让人难受。在这如同瀑布一样的阳光下我终究是没办法看书的。来自同一时刻和我一起晒太阳的朋友家的猫太阳可以感觉得到，看的到，但遗憾的是闻不到，于是螨虫们为了...