- 博客(6)
- 收藏
- 关注
RSS订阅原创 SQL on Elasticsearch
文章目录简介SQL REST API请求方式CURLKibanaHTTP返回数据数据格式分页获取SQL对应的实际查询DSLSQL命令行客户端JDBC连接方式API使用IDE 客户端ES-Hadoop使用方式操作下推简介Elasticsearch的DSL查询语言使用复杂，难以理解。SQL才是数据分析人员的通用语言，也是获取数据的最便捷的方式。Elasticsearch包含一个X-Pack SQL...
2019-06-26 10:31:00
1272
原创 Elasticsearch数据接入
文章目录简介LogStash接入ES-Hadoop接入重要配置批处理导入流数据写入Dstream to ESStructured Streaming to ES几个注意事项主键设置写入冲突Exactly OnceES写入性能简介Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎，可以对大量数据进行快速的搜索和聚合分析。同时它能够水平扩展，每秒钟可处理海量事件，同时能...
2019-06-25 15:24:36
3427
1
原创 Elasticsearch配置解析
文章目录简介系统配置最大文件描述符内存锁定限制虚拟内存映射最大数量线程数elasticsearch.ymlcluster.namenode.namepath.data & path.logminimum\_master_nodes集群恢复配置使用单播发现策略锁住内存禁止模糊匹配删除索引jvm.options堆内存配置为什么堆内存尽量不要超过32GB？log4j2.propertiesAPI...
2019-06-16 22:31:48
581
原创 BlockManagerMaster对BlockManager的管理
文章目录简介创建实现BlockManagerMasterEndpoint消息类型时序图BlockManagerSlaveEndpoint消息类型时序图简介BlockManagerMaster负责对Executor上的BlockManager的管理和协调，具体操作依赖于BlockManagerMasterEndpoint。Driver上的BlockManagerMaster对存在于Executo...
2019-06-02 21:03:09
531
原创 磁盘块管理器DiskBlockManager
文章目录简介创建主要成员主要功能创建本地目录获取BlockId对应的文件路径查询BlockId对应的文件是否存在创建临时Block文件简介DiskBlockManager主要用来创建并持有逻辑blocks块与物理磁盘位置之间的映射。逻辑block块通过其BlockId映射到一个磁盘上的文件。Block块文件被hash存储到spark.local.dir（或SPARK_LOCAL_DIRS)配置...
2019-06-02 17:55:14
296
原创 Decorator（装饰器）模式
文章目录描述定义类型UML类图时序图特点实现主要角色注意事项示例适用场景优点缺点相关模式实际应用描述定义动态地给一个对象添加一些额外的职责，其别名为包装器(Wrapper)。就增加对象功能来说，装饰器模式比生成子类实现更为灵活。类型对象结构型模式UML类图时序图特点装饰模式以对客户端透明的方式扩展对象的功能，是继承关系的一个替代方案。大多数的装饰模式实际上是半透明的装饰...
2019-06-02 15:47:55
471
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人