tianyeshiye

天之道,损有余而补不足.人之道,则不然,损不足以奉有余.孰能有余以奉天下?唯有道者...

BigData - " 时 空 " 思想 (待续中)

思想 :时间和空间的平衡一直都是软件开发过程中永恒的话题 架构师的设计中 一直都有计算时间 和 存储空间 的平衡工作 在大数据领域里面,这个思想尤为突出。 实例 举例说明几种时空思想的利用实例 1, 压缩 压缩的本质就是利用CPU的处理时间,换取磁盘的存储空间。 2,预查询 ...

2019-04-12 17:11:51

阅读数 73

评论数 0

悟 - 软件工程 各种架构理解

Service Mesh 就是为了解耦*(数据层 和 控制层),有多抽象出来了一层 软件架构里面有句俗语,任何事情是没有再抽象出一层解决不了的,如解决不了,那就再多抽象出一层 Service less Serverless(无服务器架构)并不意味着没有任何服务器去运行代码,Serve...

2019-03-29 17:29:14

阅读数 27

评论数 0

悟 - 带头大哥 应该拥有的关键行为,思想

做事 1,海纳百川,有容乃大 尽最大能力的发挥出 队员 的能力及优点 2,让利 对外,不揽功;对内,让利给队员; 3,责任 对外,一切责任一身肩;对内,划分好责任,奖罚分明。 考虑问题 1:换位思考是基础 2:从时间和空间的角度去考虑问题 ex:换一个空间环境,人的...

2019-03-27 17:07:24

阅读数 10

评论数 0

大数据框架、概念等 简短总结 (持续总结中)

数据仓库  更关注数据分析层面(OLAP) 一次写入、多次读取 HDFS 分布式文件系统 HDFS适合批处理场景,不支持数据随机查找,不适合增量数据处理且不支持数据更新 Habse 分布式文件系统的动态查询,HDFS的随机读写操作 HBase并不适合传统的事物处理程序或关联分析,不支...

2018-08-29 23:30:56

阅读数 131

评论数 0

Book Collection

Essential Netty in Action 《Netty 实战(精髓)》 https://github.com/waylau/essential-netty-in-action Essential Netty in Action 《Netty 4.x 用户指南》 https://gi...

2018-06-26 21:54:43

阅读数 73

评论数 0

编程思想总结 - 堆排序,少做无用功

堆排序,用于解决一下通用问题消费前十名总成绩最好的前十名思想源自吴军

2018-06-26 20:27:37

阅读数 52

评论数 0

编程思想总结 - 分解问题,解决问题

1, 先把问题理解清楚       确认好场景,考虑的因素       沟通并确认好已知2, 基于已知信息,分解问题        在已知的基础上,把一个问题分解成几个子问题3, 解决问题 (避免做无用功)        解决子问题,找到更好的解决方法4, 基于分布的子问题解决,重构解决方案, 全...

2018-04-15 13:05:03

阅读数 94

评论数 0

Mark : SparkSQL Catalyst解析

来源 :阿里Apache Spark 技术中国社区 阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区,定期推送精彩案例,问答区数个Spark技术同学每日在线答疑,只为营造纯粹的Spark氛围,欢迎加入!钉钉群号:23109202 Catalyst Optimizer是Spa...

2019-04-19 12:43:55

阅读数 2

评论数 0

Spark SQL 查询引擎Catalyst分析

Spark SQL 查询引擎Catalyst分析 Catalyst整体架构图 Catalyst执行流程 catalyst是spark sql的调度核心,遵循传统数据库查询解析步骤,对sql进行解析,转换为逻辑查询计划,物理查询计划,最终转化为Spark的DAG后在执行,下图为Catal...

2019-04-19 09:53:35

阅读数 3

评论数 0

Mark :spark运行逻辑 简单易懂的总结

1.架构 Master 做为整个集群的控制器复负责整个集群的正常运行 Worker 相当于计算节点,接收主节点命令与进行状态汇报。运行一个或多个Executor进程,相当于计算节点 Client 用户提交作业的客户端 Driver 负责控制一个应用的执行,运行Application的main函...

2019-04-19 09:44:33

阅读数 2

评论数 0

Mark : Antlr4 入门

一.ANTRL 是什么 ANTLR 是用JAVA写的语言识别工具,它用来声明语言的语法,简称为“元语言”(meta-language)。 ANTLR 语法识别一般分为二个阶段: 1.词法分析阶段 (lexical analysis) 对应的分析程序叫做lexer,负责将符号(token)...

2019-04-18 17:22:06

阅读数 4

评论数 0

Array 包名为什么是java.lang.reflect.Array, Array的作用?

java.lang.reflect.Array类提供静态方法来动态创建和访问Java数组。 Array允许在get或set操作期间扩展转换,但如果发生缩小转换,则会抛出IllegalArgumentException异常。 此类提供了创建和操作数组的一系列静态(static)本地(native...

2019-04-18 10:17:04

阅读数 39

评论数 0

Mark : 软件架构发展历程

好文章一定要Mark一下 作者简介:kimmking,关注于互联网电商,金融,支付等系统领域,10多年研发管理和架构经验,前阿里架构师、某商业银行北京研发中心负责人,某电商公司高级技术总监。本文来自作者kimmking在GitChat上分享 「软件架构发展历程分享」。 什么是架构 计算机...

2019-04-15 17:15:24

阅读数 70

评论数 0

Terraform

什么是Terraform Terraform是一种开源工具,用于安全高效地预配和管理云基础结构。 概览 HashiCorp Terraform是一个IT基础架构自动化编排工具,可以用代码来管理维护 IT 资源。Terraform的命令行接口 (CLI) 提供一种简单机制,用于将配置文件部署...

2019-04-15 16:19:06

阅读数 16

评论数 0

Mark : Kerberos 认证

转 :https://www.cnblogs.com/wukenaihe/p/3732141.html hadoop集群的kerberos认证 https://blog.csdn.net/weixin_40861707/article/details/81979474 1. Kerbero...

2019-04-13 21:40:54

阅读数 46

评论数 0

Apache Spark 统一内存管理模型详解

本文将对Spark的内存管理模型进行分析,下面的分析全部是基于 ApacheSpark2.2.1 进行的。为了让下面的文章看起来不枯燥,我不打算贴出代码层面的东西。文章仅对统一内存管理模块(UnifiedMemoryManager)进行分析,如对之前的静态内存管理感兴趣,请参阅网上其他文章。 我...

2019-04-12 17:14:04

阅读数 21

评论数 0

linux下写穿/直写(Write-Through)与写回(Write-Back)

CPU使用高速缓存(DCache)时,它对内存的的写操作有两种模式:写穿(write-throuht)、写回(write-back)。 写穿(write-throuht)模式 该模式下,CPU对主存写数据时,不经过DCdcache直接写到内存,此时对于写的实现比较简单,如果系统只用写穿模式...

2019-04-12 10:23:51

阅读数 16

评论数 0

Serverless 介绍 和 深层次的认知

前言 云计算机经过这么多年的发展,逐渐进化到用户仅需关注业务和所需的资源。比如,通过Swarm、K8S这些编排工具,用户只要关注自己的计算和需要的资源(CPU、内存等)就行了,不需要操心到机器这一层。可是,用户为什么仍然需要关注业务运行所需要的CPU、内存、网络情况?还有没有更好的解决方案?S...

2019-04-11 15:59:20

阅读数 65

评论数 0

时序数据库 - 十分钟看懂时序数据库(IV)- 分级存储

转:http://www.ciotimes.com/IT/130218.html 物联网领域近期如火如荼,互联网和传统公司争相布局物联网。作为物联网领域数据存储的首选,时序数据库也越来越多进入人们的视野,而早在2016年7月,百度云在其天工物联网平台上发布了国内首个多租户的分布式时序数据库产品T...

2019-04-11 15:45:02

阅读数 39

评论数 0

时序数据库 - 十分钟看懂时序数据库(III)- 压缩 (时间和空间的转换 - 简称时空转换)

压缩的本质:用计算时间换取存储空间 转 :https://yq.aliyun.com/articles/198640?spm=5176.10695662.1996646101.searchclickresult.7ce551cb7a7dkx 物联网邻域近期如火如荼,互联网和传统公司争相布局...

2019-04-11 15:43:45

阅读数 26

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭