Leo's Blog

Talk is cheap, show me your code. https://github.com/leoChaoGlut

排序:
默认
按更新时间
按访问量

Presto 源码分析 (1) - 一条 sql 在 presto 内如何被执行

由于方法栈调用顺序较深, markdown 不好展示,故使用 yml 来展示. 详情请看 : 一条sql如何被presto执行.yml https://github.com/leoChaoGlut/presto-research/blob/master/presto-research-do...

2018-01-23 11:35:34

阅读数:291

评论数:0

如何用简单例子讲解 Q - learning 的具体过程?

作者:牛阿 链接:https://www.zhihu.com/question/26408259/answer/123230350 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。2017年06月05日更新,最近重写了一遍代码,Flappy Bird Q-le...

2018-02-28 14:15:44

阅读数:362

评论数:0

使用强化学习完成迷宫搜索

使用 Q Learning 完成了一个迷宫搜索的小程序源码: https://github.com/leoChaoGlut/machine-learning-practice/tree/master/reinforcement-learning/q-learning/maze

2018-02-28 14:13:51

阅读数:534

评论数:0

presto 插件开发

完整demo: https://github.com/leoChaoGlut/presto-research/tree/master/presto-research-plugin 开发步骤 pom.xml 中填加 dependencies com.facebook.presto:pre...

2018-01-25 11:45:56

阅读数:153

评论数:0

JSR133中文版

原文链接  译文链接   翻译:丁一   下载:JSR133中文版 本文是JSR-133规范,即JavaTM内存模型与线程规范,由JSR-133专家组开发。本规范是JSR-176(定义了JavaTM平台 Tiger(5.0)发布版的主要特性)的一部分。本规范的标准内容将合并到JavaTM...

2018-01-24 09:50:02

阅读数:114

评论数:0

解决 Azkaban Executor 启动后不会自动激活

Intro通过翻看 Azkaban Executor Server 源码,发现 Executor 提供了 rest 接口,来手动激活 Executor. 为什么不在 Executor 启动时自动激活呢….官方 issue110 解释如下:We don't update prior to web-...

2017-12-25 12:01:04

阅读数:241

评论数:0

Ambari 整合 Azkaban

详情: https://github.com/leoChaoGlut/ambari-azkaban-service/blob/master/README.md

2017-12-24 13:50:38

阅读数:265

评论数:0

Ambari 整合 Presto

详情: https://github.com/leoChaoGlut/ambari-presto-service

2017-12-24 13:49:57

阅读数:167

评论数:0

Kaggle如何入门

作者:机器之心 链接:https://www.zhihu.com/question/23987009/answer/203051669 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 Kaggle 是一个流行的数据科学竞赛平台,已被谷歌收购,参阅《...

2017-12-19 09:25:29

阅读数:320

评论数:0

Presto ETL SQL 执行框架

简介: 仅适用于 presto 之前模仿 sqoop 的功能,写了一版 presto-extract,但发现并不好用,于是跳出 sqoop 的思维,重新写了一版 该版本的职责: 负责顺序调用 sql 一个负责提供占位参数的 placeholders.sql 从 placeholders.sql ...

2017-11-22 17:34:05

阅读数:416

评论数:0

OrientDB 踩坑记录

子查询得到的结果默认是 Collection, 判断相等的时候需要先调用 FIRST(subQuery) 方法(或其它方法),否则会出现等式判断错误. 正确: SELECT FROM Person WHERE name = FIRST((SELECT name FROM Person)) 错误:...

2017-11-16 20:08:06

阅读数:212

评论数:0

给Linux系统新增加一块硬盘

今天公司测试Linux服务器硬盘不够用了,主要是mysql数据文件太大了,买了个500G的硬盘回来,这里记录下新加硬盘的方法 PS 测试服务器的主板太差劲了,没有多余的电源接口,只能把光驱的电源拿出来,才能让硬盘使用。 把硬盘装好后,我们用 fdisk -l 查看下: 图中可以看出 ...

2017-11-14 17:09:23

阅读数:1185

评论数:0

Spark技术在京东智能供应链预测的应用

大家晚上好,做一个简单的介绍:我叫郭景瞻,来自京东,著有《图解Spark:核心技术与案例实战》一书,还有我的同事杨冬越,他在京东Y事业部,主要从事供应链销量预测、单量预测等系统的设计与实现工作。 今天非常感谢InfoQ提供这样的机会给大家做一次分享,我们分享的主题是《Spark技术在智能供应...

2017-11-10 18:25:09

阅读数:238

评论数:0

Presto 集群管理工具

presto 官方提供了集群管理工具,但只支持 RedHat Linux version 6.x * CentOS, ubuntu下,不能正常使用,于是自己撸了一个presto集群管理工具:github链接 https://github.com/leoChaoGlut/presto-...

2017-11-03 16:37:42

阅读数:272

评论数:0

数据库事务的四大特性以及事务的隔离级别

本篇讲诉数据库中事务的四大特性(ACID),并且将会详细地说明事务的隔离级别。   如果一个数据库声称支持事务的操作,那么该数据库必须要具备以下四个特性: ⑴ 原子性(Atomicity)   原子性是指事务包含的所有操作要么全部成功,要么全部失败回滚,这和前面两篇博客介绍事务的...

2017-10-29 18:57:52

阅读数:374

评论数:0

HDFS的运行原理

简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点:     ① 保存多个副...

2017-10-14 16:19:35

阅读数:216

评论数:0

【案例分享】唯品会海量实时OLAP分析技术升级之路

【文章来源:DBAplus社群。本文根据谢麟炯老师在〖DAMS 2017中国数据资产管理峰会〗现场演讲内容整理而成】 讲师介绍 谢麟炯,唯品会大数据平台高级技术架构经理,主要负责大数据自助多维分析平台,离线数据开发平台及分析引擎团队的开发和管理工作,加入唯品会以来还曾负责流量基...

2017-10-14 15:52:08

阅读数:376

评论数:2

Spark 增量操作 insertInto() 与 mode(SaveMode.Append).saveAsTable() 的区别

前言 使用spark做增量操作的时候,会看到有2个方法都可以做: insertInto 和 mode(SaveMode.Append).saveAsTable() 区别: insertInto() 无关schema,只按数据的顺序插入,类似hive导入csv. mode(SaveMode.Ap...

2017-10-12 10:21:12

阅读数:1921

评论数:0

ROLAP、MOLAP和HOLAP联机分析处理区别

第一篇:      OLAP(on-Line Analysis Processing)是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求,它的技术核...

2017-10-06 22:14:47

阅读数:323

评论数:0

Kylo 0.8.3 安装

前置条件- kylo-0.8.3.deb(待安装) - ubuntu 14.04(已安装) - jdk 8(已安装) - mysql 5.6(已安装) - HDP 2.6(已安装) - HDF 3.0.1.0(包含nifi1.2)(已安装)- cd /opt/kylo/setup - 只安装ac...

2017-09-20 10:57:35

阅读数:546

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭