- 博客(14)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 OLAP-Druid-原理
1 Druid简介 OLAP 又分实时 OLAP 和离线 OLAP。大数据的一些架构，比如常见 Hive + Hadoop，SparkSQL + HDFS，Kylin 等就是离线 OLAP，而一些监控告警系统这种对实时性要求比较高的系统就是实时 OLAP。而Druid属于实时OLAP范畴。 1.1特性 列式存储。列式存储的优势在于查询的时候可以只返回指定的列的数据，其次同一列数据往往具有很多共性，这带来另一个好处就是存储的时候压缩效果比较好。 可扩展的分布式架构。 并行计算。 数据摄入...
2020-12-14 18:10:10
499
原创 OLAP-Impala-原理
1 Impala理论 1.1 Impala简介 Impala由Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能，且基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点，是CDH平台首选的PB级大数据实时查询分析引擎。 其部署架构如下： 1.2Impala特点 基于内存进行计算，能够对PB级数据进行交互式实时查询、分析 无需转换为MR，直接读取HDFS数据 C++编写，LLVM统一编译运行 兼容HiveSQL 具有...
2020-12-14 15:58:21
269
原创 工程师素养
目录 1 为什么要写 2 工程师的五点要求 2.1 对技术的坚信 2.2 要站在巨人的肩膀上做创新 2.3 最求极致 2.4 每天学习 2.5 主人翁精神 3 工程师的六大意识 3.1 时间意识 3.2 质量意识 3.3 沟通意识 3.4 团队意识 3.5 进取意识 3.6 求实意识 1 为什么要写 2 工程师的五点要求 2.1 对技术的坚信 2.2 要站在巨人的肩膀上做创新 2.3 最求极致 2.4 每天学习 2.5 主人翁精神 3 工程师的六大意识 3.
2020-11-26 10:28:40
397
转载 Python核心知识点整理
Python核心技术点，主要是经过大牛整理，在此只是做资源整合。 1 基础概念 2 数据类型 2.1 字符串 2.2列表和元组 2.3字典和集合 2.4 切片 3 条件和循环 4 函数 5 面向对象 6 文件操作 7错误和异常 ...
2020-11-25 17:52:06
476
1
原创 java最核心知识点整理
Java核心知识点整理 Java相关的知识点，业界的大牛已经整理的很好，在此只是引用借鉴。 目录 1 常见面试题 2 基础知识点 2.1 集合框架 2.2 工具类库 2.3 单元测试 2.4日志 3 并发编程 3.1 基础知识 3.2 并发理论 3.3 并发关键字 3.4 Lock 3.5并发容器 3.6线程池 3.7原子操作类 3.8并发工具 3.9并发实践 4 常用工具 4.1 IDEA 4.2 Maven 4.3 Git 1 常见面试题 序号...
2020-11-25 16:33:11
152
1
原创 Elasticsearch 遇到的问题汇总
前段时间一直在研究ES（Elasticsearch简称）集群，故难免会遇到一些问题，现就遇到的问题做下深入的分析和总结。在分析之前我们先对ES集群中涉及到的关键名词进行了解。 一 ES集群比较重要名词解释 1）shards shards指的是索引分片的大小，一个大的索引被分为若干个分片后，存储于不同的节点上以构成分布式搜索。分片不一定是越多越好，分片数量要按自己的
2018-03-14 17:37:51
2071
原创 scala学习--可扩展的语言
从名称可知“可扩展的语言”说明scala确实有它的强大之处-可扩展性，故scala应用范围很广，从简单的脚本到构建大型系统。 scala增加的新类型 引入 BigInt类型（从scala.BigInt引入，其实它的来源是java的BigInteger）如下面的例子 def factorial(x:BigInt):BigInt= if(x==0) 1 else
2014-12-19 11:22:24
587
转载 开发中常用到的正则表达式
正则表达式用于字符串处理、表单验证等场合，实用高效。现将一些常用的表达式收集于此，以备不时之需。 匹配中文字符的正则表达式： [\u4e00-\u9fa5] 评注：匹配中文还真是个头疼的事，有了这个表达式就好办了 匹配双字节字符(包括汉字在内)：[^\x00-\xff] 评注：可以用来计算字符串的长度（一个双字节字符长度计2，ASCII字符计1） 匹配空白行的正则表达式：\n\s*\
2014-11-29 14:43:52
257
转载 设计模式之代理模式
代理模式的结构 所谓代理，就是一个人或者机构代表另一个人或者机构采取行动。在一些情况下，一个客户不想或者不能够直接引用一个对象，而代理对象可以在客户端和目标对象之间起到中介的作用。 代理模式类图如下：
2014-11-05 15:17:02
231
转载 依赖倒转原则学习
依赖倒置原则(Dependence Inversion Principle) 1、依赖倒置原则的定义 1）上层模块不应该依赖于底层模块，它们都应该依赖于抽象。 2）抽象不应该依赖于细节，细节应该依赖于抽象，要针对接口编程，不要针对实现编程。 Abstractions should not depend upon details,Details should dep
2014-11-04 10:16:59
534
转载 mapreduce自定义输入
import java.io.IOException; import java.net.URI; import javax.xml.soap.Text; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.P
2014-11-03 20:41:47
306
转载 亨元模式学习
在面向对象的程序设计语言看来，一切事务都被描述成对象（Object）。 对象拥有状态（属性）和行为（方法），我们将具有相同行为的对象抽象为类（Class）， 类可以被看作只保留行为的对象模板，类可以在运行时被重新赋予状态数据从而形成了对象。 在运行时，对象占用一定的内存空间用来存储状态数据。如果不作特殊的处理， 尽管是由同一个类生成的两个对象，而且这两个对象的的状态数据完 全相同，
2014-11-03 15:06:07
370
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人