- 博客(42)
- 收藏
- 关注
RSS订阅
原创 BigData - “ 时 空 “ 思想 - 存储和计算 （待续中）
思想 :时间和空间的平衡一直都是软件开发过程中永恒的话题架构师的设计中一直都有计算时间 和 存储空间 的平衡工作在大数据领域里面，这个思想尤为突出。实例举例说明几种时空思想的利用实例1， 压缩压缩的本质就是利用CPU的处理时间，换取磁盘的存储空间。2，预查询apache kylin，作为OPAL 框架，它的数据存储会比原始数shi据多出几倍，本质...
2019-04-12 17:11:51
245
转载 Mark : SparkSQL Catalyst解析
来源 ：阿里Apache Spark 技术中国社区阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区，定期推送精彩案例，问答区数个Spark技术同学每日在线答疑，只为营造纯粹的Spark氛围，欢迎加入！钉钉群号：23109202Catalyst Optimizer是SparkSQL的核心组件(查询优化器)，它负责将SQL语句转换成物理执行计划，Catalyst的优劣决定...
2019-04-19 12:43:55
258
转载 Spark SQL 查询引擎Catalyst分析
Spark SQL 查询引擎Catalyst分析Catalyst整体架构图Catalyst执行流程catalyst是spark sql的调度核心，遵循传统数据库查询解析步骤，对sql进行解析，转换为逻辑查询计划，物理查询计划，最终转化为Spark的DAG后在执行，下图为Catalyst的执行流程。SqlParser将SQL语句被解析为语法树(AST)，也就是未解析的逻...
2019-04-19 09:53:35
527
转载 Mark ：spark运行逻辑 简单易懂的总结
1.架构Master 做为整个集群的控制器复负责整个集群的正常运行Worker 相当于计算节点，接收主节点命令与进行状态汇报。运行一个或多个Executor进程，相当于计算节点Client 用户提交作业的客户端Driver 负责控制一个应用的执行，运行Application的main函数和初始化SparkContext，Driver将Task和Task所依赖的file和jar(序列化...
2019-04-19 09:44:33
261
转载 Mark : Antlr4 入门
一.ANTRL 是什么ANTLR 是用JAVA写的语言识别工具，它用来声明语言的语法，简称为“元语言”(meta-language)。ANTLR 语法识别一般分为二个阶段：1.词法分析阶段 （lexical analysis)对应的分析程序叫做lexer，负责将符号（token）分组成符号类（token class or token type）2.解析阶段根据词法，...
2019-04-18 17:22:06
688
原创 Array 包名为什么是java.lang.reflect.Array, Array的作用？
java.lang.reflect.Array类提供静态方法来动态创建和访问Java数组。Array允许在get或set操作期间扩展转换，但如果发生缩小转换，则会抛出IllegalArgumentException异常。此类提供了创建和操作数组的一系列静态（static）本地（native）方法。这些功能即使不通过此类，也可以实现，比如创建数组。Object arr = Arra...
2019-04-18 10:17:04
1830
翻译 Mark : 软件架构发展历程
好文章一定要Mark一下作者简介：kimmking，关注于互联网电商，金融，支付等系统领域，10多年研发管理和架构经验，前阿里架构师、某商业银行北京研发中心负责人，某电商公司高级技术总监。本文来自作者kimmking在GitChat上分享 「软件架构发展历程分享」。什么是架构计算机科学和程序设计的飞速发展，使得软件设计应用到从航空航天到日常生活的方方面面。单个人开发一段小程...
2019-04-15 17:15:24
374
转载 Terraform
什么是TerraformTerraform是一种开源工具，用于安全高效地预配和管理云基础结构。概览HashiCorp Terraform是一个IT基础架构自动化编排工具，可以用代码来管理维护 IT 资源。Terraform的命令行接口 (CLI) 提供一种简单机制，用于将配置文件部署到阿里云或其他任意支持的云上，并对其进行版本控制。它编写了描述云资源拓扑的配置文件中的基础结构，例...
2019-04-15 16:19:06
3060
转载 Mark : Kerberos 认证
转 ：https://www.cnblogs.com/wukenaihe/p/3732141.htmlhadoop集群的kerberos认证https://blog.csdn.net/weixin_40861707/article/details/819794741. Kerberos简介Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进...
2019-04-13 21:40:54
256
转载 Apache Spark 统一内存管理模型详解
本文将对Spark的内存管理模型进行分析，下面的分析全部是基于 ApacheSpark2.2.1 进行的。为了让下面的文章看起来不枯燥，我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析，如对之前的静态内存管理感兴趣，请参阅网上其他文章。我们都知道Spark能够有效的利用内存并进行分布式计算，其内存管理模块在整个系统中扮演着非常...
2019-04-12 17:14:04
147
转载 linux下写穿/直写(Write-Through)与写回(Write-Back)
CPU使用高速缓存(DCache)时，它对内存的的写操作有两种模式：写穿(write-throuht)、写回(write-back)。写穿(write-throuht)模式该模式下，CPU对主存写数据时，不经过DCdcache直接写到内存，此时对于写的实现比较简单，如果系统只用写穿模式的话，DCache则变成了读缓存了。写回(write-back)模式：CPU写入数据时，不...
2019-04-12 10:23:51
6217
转载 Serverless 介绍 和 深层次的认知
前言云计算机经过这么多年的发展，逐渐进化到用户仅需关注业务和所需的资源。比如，通过Swarm、K8S这些编排工具，用户只要关注自己的计算和需要的资源（CPU、内存等）就行了，不需要操心到机器这一层。可是，用户为什么仍然需要关注业务运行所需要的CPU、内存、网络情况？还有没有更好的解决方案？Serverless架构应运而生，让人们不再操心运行所需的资源，只需关注自己的业务逻辑，并且为实际消耗...
2019-04-11 15:59:20
224
转载 时序数据库 - 十分钟看懂时序数据库（IV）- 分级存储
转：http://www.ciotimes.com/IT/130218.html物联网领域近期如火如荼，互联网和传统公司争相布局物联网。作为物联网领域数据存储的首选，时序数据库也越来越多进入人们的视野，而早在2016年7月，百度云在其天工物联网平台上发布了国内首个多租户的分布式时序数据库产品TSDB，成为支持其发展制造，交通，能源，智慧城市等产业领域的核心产品，同时也成为百度战略发展产业物联网...
2019-04-11 15:45:02
586
转载 时序数据库 - 十分钟看懂时序数据库（III）- 压缩 （时间和空间的转换 - 简称时空转换）
压缩的本质：用计算时间换取存储空间转 :https://yq.aliyun.com/articles/198640?spm=5176.10695662.1996646101.searchclickresult.7ce551cb7a7dkx物联网邻域近期如火如荼，互联网和传统公司争相布局物联网。作为物联网邻域数据存储的首选时序数据库也越来越多进入人们的视野，而早在2016年7月，百度...
2019-04-11 15:43:45
745
转载 时序数据库 - 十分钟看懂时序数据库II——预处理 （空间换时间）
转：https://yq.aliyun.com/articles/202334?spm=5176.10695662.1996646101.searchclickresult.7ce551cb7a7dkx物联网领域近期如火如荼，互联网和传统公司争相布局物联网。作为物联网领域数据存储的首选，时序数据库也越来越多进入人们的视野。早在2016年7月，百度云在其天工物联网平台上发布了国内首个多租户的分布...
2019-04-11 15:42:02
831
转载 时序数据库 - 十分钟看懂时序数据库（I）-存储
原文地址：https://yq.aliyun.com/articles/202551?spm=5176.10695662.1996646101.searchclickresult.7ce551cb7a7dkx2017年时序数据库忽然火了起来。开年2月Facebook开源了beringei时序数据库；到了4月基于PostgreSQL打造的时序数据库TimeScaleDB也开源了，而早在2016年...
2019-04-11 15:41:11
904
转载 Linux - 内核参数配置
转：https://www.cnblogs.com/bodhitree/p/5756719.htmlLinux在系统运行时修改内核参数(/proc/sys与/etc/sysctl.conf)，而不需要重新引导系统，这个功能是通过/proc虚拟文件系统实现的。在/proc/sys目录下存放着大多数的内核参数，并且设计成可以在系统运行的同时进行更改, 可以通过更改/proc/sys中内核参数对...
2019-04-11 15:16:11
149
转载 Mark Ali : 零距离接触阿里云时序时空数据库TSDB
转：https://yq.aliyun.com/articles/679428?spm=5176.149792.775960.tec-tsdb.156a34e20W6NpL概述最近，Amazon新推出了完全托管的时间序列数据库Timestream，可见，各大厂商对未来时间序列数据库的重视与日俱增。阿里云TSDB是阿里巴巴集团数据库事业部研发的一款高性能分布式时序时空数据库，在即将过去的2...
2019-04-11 13:48:49
443
转载 Mark : 饿了么 Influxdb 实践之路
转 :https://studygolang.com/articles/10120前言Influxdb是一个基于golang编写，没有额外依赖的开源时序数据库，用于记录metrics、events，进行数据分析。这篇文章谈论的influxdb版本在1.2.0以上。这篇文章只谈论influxdb在监控中的数据存储应用，不会谈论influxdb提供的整套监控方案。本文主要谈论五个方面：时序...
2019-04-11 13:43:17
1187
转载 阶层是一条漫长的阶梯，你能爬到第几层？
正方观点怎样才能改变你所处的阶层你想要发财，想要出人头地。你想有很多钱，香车宝马，粉黛如云。你想挥金如土，叱咤风云。成为偶像与传奇。那么，有没有人来说说具体的步骤？一、阶层改名之前，上海有几条高速公路。分别是沈海高速A5，沪宁A8，沪杭A9线，还有A10。好事之徒，随口起了一个暗号。用A7来表示一个人的财富。A是Asset，7是7位数。好比A5，代表总资产￥10000元。赤贫，接...
2019-04-11 12:49:25
1656
转载 Spark core中的cache、persist区别，以及缓存级别详解
概述本次我们将学习Spark core中的cache操作以及和 persist的区别。首先大家可能想到的是cache到底是什么呢？他有什么作用呢？我们可以带着这两个问题进行下面的学习。本文结构：1. cache的产生背景2. cache的作用3. 源码解析cache于persist的区别，以及缓存级别详解1 cache的产生背景我们先做一个简单的测试读取一个本地文件做一次col...
2019-04-10 17:52:31
192
转载 Mark 范爷作品 ：时序数据库（TSDB）－为万物互联插上一双翅膀
转：http://hbasefly.com/2017/11/19/timeseries-database-1/时序数据库（TSDB）是一种特定类型的数据库，主要用来存储时序数据。随着5G技术的不断成熟，物联网技术将会使得万物互联。物联网时代之前只有手机、电脑可以联网，以后所有设备都会联网，这些设备每时每刻都会吐出大量的按照时间组织的数据，需要存储下来进行查询、统计和分析。时序数据和普通的业务数...
2019-04-10 15:57:49
258
原创 序列化、压缩、及Linux 打包
序列化序列化将对象变成一串字节流序列化可以理解为对象级别的压缩方式不用序列化能否保存磁盘上？ 可以，但是你要将对象中一个个的基本属性进行写入操作，比如int之流, 当然, 按你自己希望的顺序，规则.序列化和持久化之间的关系 序列化过程是持久化的一种方式，当然Java中你可以选择适当的方式编码(utf-8)。序列化和压缩的目的...
2019-04-10 14:20:45
471
转载 linux - 文件打包与压缩 命令总结
文件打包与压缩一、实验介绍1.1 实验内容介绍 Linux 上常用的压缩/解压工具，主要讲解 zip，rar，tar 的使用。1.2 知识点zip 命令tar 命令压缩与解压常用组合二、概念讲解在讲 Linux 上的压缩工具之前，有必要先了解一下常见常用的压缩包文件格式。在 Windows 上最常见的不外乎这三种*.zip，*.rar，*.7z后缀的压缩文件。...
2019-04-10 14:16:07
353
转载 BigData－基于代价优化
转：http://hbasefly.com/2017/05/04/bigdata%EF%BC%8Dcbo/还记得笔者在上篇文章无意中挖的一个坑么？如若不知，强烈建议看官先行阅读前面两文－《SparkSQL – 有必要坐下来聊聊Join》和《BigData – Join中竟然也有谓词下推!?》。第一篇文章主要分析了大数据领域Join的三种基础算法以及各自的适用场景，第二篇文章在第一篇的基础上进一...
2019-04-09 17:06:25
251
转载 一张图看懂AI、机器学习和深度学习的区别
三者关系AI（人工智能）机器学习：抵达AI目标的一条路径深度学习：实现机器学习的技术AI（人工智能）AI（人工智能）是未来，是科幻小说，是我们日常生活的一部分。所有论断都是正确的，只是要看你所谈到的AI到底是什么。 例如，当谷歌DeepMind开发的AlphaGo程序打败韩国职业围棋高手Lee Se-dol，媒体在描述DeepMind的胜利时用到了AI、机器学习、...
2019-04-09 14:38:22
281
转载 AlphaGo到底是怎么下棋的？
AlphaGo到底是怎么下棋的？在一局围棋中，平均每一步的下法大约有200种可能。棋盘上可能出现的局面总数到了远大于宇宙中原子总数的地步。因此，通过暴力穷举手段预测所有的可能情况并从中筛选中最优势走法的思路，并不适用于围棋AI。围棋棋盘上出现的可能局面数远大于宇宙中的原子数量。图片来源：DeepmindAlphaGo选择了别的下棋方式。支撑AlphaGo提高棋力、打败人类选手的“秘诀”...
2019-04-09 14:09:41
2774
转载 五种开源协议的比较(BSD，Apache，GPL，LGPL，MIT)
当Adobe、Microsoft、Sun等一系列巨头开始表现出对”开源”的青睐时，”开源”的时代即将到来！现今存在的开源协议很多，而经过Open Source Initiative组织通过批准的开源协议目前有58种(http：//www.opensource.org/licenses /alphabetical)。我们在常见的开源协议如BSD，GPL，LGPL，MIT等都是OSI批准的协议。如果要...
2019-04-09 13:01:57
247
原创 SQLLine Phoenix 操作Hbase
SQLLine IntroductionSQLLine is a pure-Java console based utility for connecting to relational databases and executing SQL commands. It is similiar to other command-line database access utilities ...
2019-04-09 10:49:53
1041
转载 OLTP VS OLAP VS HTAP
https://blog.bcmeng.com/post/oltp-olap-htap.htmlOLTP是Online Transaction Processing的简称；OLAP是OnLine Analytical Processing的简称；HTAP是Hybrid Transactional/Analytical Processing的简称。Transaction是指形成一个逻辑单元，不可...
2019-04-05 17:54:45
736
转载 Apache Kylin VS Baidu Palo
https://blog.bcmeng.com/post/apache-kylin-vs-baidu-palo.html作者: 康凯森日期: 2018-04-17分类:OLAP1 系统架构 1.1 What is Kylin 1.2 What is Palo 2 数据模型 2.1 Kylin的聚合模型 2.2 Palo的聚合模型 2.3 Kylin Cub...
2019-04-05 17:52:59
308
转载 ROLAP、MOLAP和HOLAP
在OLAP的世界里，主要有两种不同的类型：多维联机分析处理（MOLAP）和关系型联机分析处理（ROLAP）。混合联机分析处理指的是MOLAP和ROLAP技术的结合。MOLAP概述：这是OLAP分析的传统方式。在MOLAP中，数据存储在一个多维数据集(cube)中，存储并不是在传统的关系型数据库中，而是自定义的格式。优势：卓越的性能：MOLAP cubes为了快速数据检索而构建，具有最...
2019-04-05 17:08:39
587
翻译 Kylin - By-layer Spark Cubing
Before v2.0, Apache Kylin uses Hadoop MapReduce as the framework to build Cubes over huge dataset. The MapReduce framework is simple, stable and can fulfill Kylin’s need very well except the performan...
2019-04-05 14:31:22
251
转载 Kylin - 框架介绍
1. Apache Kylin 是什么？Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。2. Apache Kylin框架介绍Apache kylin 能提供低延迟（sub-second latency）的秘诀就是预计...
2019-04-05 13:07:54
22549
转载 Apache Calcite：Hadoop 中新型大数据查询引擎
Apache Calcite是面向 Hadoop 新的查询引擎，它提供了标准的 SQL 语言、多种查询优化和连接各种数据源的能力，除此之外，Calcite 还提供了 OLAP 和流处理的查询引擎。正是有了这些诸多特性，Calcite 项目在 Hadoop 中越来越引入注目，并被众多项目集成。Calcite 之前的名称叫做optiq，optiq 起初在 Hive 项目中，为 Hive 提供基于成...
2019-04-05 12:47:06
331
转载 概念 - 普通视图和物化视图的区别
物化视图是一种特殊的物理表，“物化”(Materialized)视图是相对普通视图而言的。普通视图是虚拟表，应用的局限性大，任何对视图的查询，Oracle都实际上转换为视图SQL语句的查询。这样对整体查询性能的提高，并没有实质上的好处。1、物化视图的类型：ON DEMAND、ON COMMIT 二者的区别在于刷新方法的不同ON DEMAND顾名思义，仅在该物化视图“需要”被刷新了，才进...
2019-04-05 10:49:44
560
转载 2018整理最全的50道Redis面试题！
https://blog.csdn.net/u010682330/article/details/810434191、什么是Redis？Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，是...
2019-04-05 09:08:30
142
转载 java - JDBC详解
一、相关概念1.什么是JDBC JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准，据此可以构建更高级的工具和接口，使数据库开发人员能够编写数据库应用程序。2.数据库驱动 我们安装好数据库之后，我们的应...
2019-04-03 17:09:36
194
翻译 Apache Calcite Background
Apache Calcite is a dynamic data management framework.Apache Calcite是一个动态的数据管理框架。It contains many of the pieces that comprise a typical database management system, but omits some key functions: st...
2019-04-03 16:38:24
137
原创 悟 - 思想 ，情感
1，情感2019年4月3日前，我总想磨灭自己的情感，是自己变得理性，接近冷血（无情感）今天，2019年4月3日突然悟道，应该顺应自己的情感，但不是放纵情感，理性地控制，而不是压制做回命中的自己，实现自己的想法2，FX操作， 最佳心里时刻顺应自己的情感，在自己最佳心里状态下，进行交易...
2019-04-03 16:33:12
104
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人