数据分析
文章平均质量分 91
Hiwes
大数据行业从业者
展开
-
《ElasticStack从入门到实践》学习笔记4
四、ElasticSearch的Search API 0、在ES中,为了实现对存储的数据进行查询分析,使用endpoint:_search。 可以实现对索引的不同查询,如: A、实现对所有索引的泛查询:GET /_search B、实现对一个索引的单独查询:GET /my_index/_search C、实现对多个索...原创 2018-11-29 14:23:47 · 446 阅读 · 0 评论 -
《ElasticStack从入门到实践》学习笔记9
九、ElasticSearch的集群优化 1.生产环境部署 1)遵照官方建议设置所有系统参数。 在ES的配置文件中elasticsearch.yml中,尽量只写必备的参数,其他可通过api进行动态设置,随着ES版本的不断升级,很多网上流传的参数,现在已经不再适用,所以不要胡乱复制。 建议设置的基本参数有: ...原创 2018-12-06 13:56:13 · 336 阅读 · 0 评论 -
《ElasticStack从入门到实践》学习笔记8
八、ElasticSearch的数据建模 1.数据建模简介 英文为Data Modeling,即创建数据模型的过程。 数据模型:是对现实世界进行抽象描述的一种工具和方法,通过抽象的实体及实体间联系的形式,去描述业务规则。从而实现对现实世界的映射。其建模过程如下: 1)概念模型(10%)。确定系统的核心需求和范围边界,实际实体与实体之间...原创 2018-12-05 11:52:27 · 1296 阅读 · 1 评论 -
《ElasticStack从入门到实践》学习笔记6
六、ElasticSearch中Search的运行机制 Search执行的时候,实际分为两个步骤执行: ---> Query阶段:搜索 ---> Fetch阶段:获取 1、Query—Then—Fetch: 假设集群my_cluster中存在三个节点node1、node2、node3,其中master为node1...原创 2018-12-03 11:15:19 · 717 阅读 · 0 评论 -
《ElasticStack从入门到实践》学习笔记3
三、ElasticSearch的Mapping设置 1、Mapping简介: 1)类似于数据库中的表结构,主要作用如下: A、定义Index下的Field Name; B、定义Field的类型,如:数值型、字符串型、布尔型等; C、定义倒排索引的相关配置,如:是否有索引,记录position等...原创 2018-11-28 14:27:50 · 573 阅读 · 0 评论 -
《ElasticStack从入门到实践》学习笔记2
二、ElasticSearch倒排索引与分词 1、倒排索引概念: 1)百度百科:倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值,而是由属性值来确定记录的位置,因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件,简称倒排文件(inverte...原创 2018-11-27 15:03:57 · 538 阅读 · 0 评论 -
《ElasticStack从入门到实践》学习笔记1
一、ElasticSearch入门介绍 1、常见术语: A、Document 文档 用户存储在ES中的数据文档。 B、Index 索引 由具有相同字段的文档列表组成。在当前版本,不在推荐下设Type,在后续版本,不再设立Type。 ...原创 2018-11-27 14:18:10 · 789 阅读 · 1 评论 -
《ElasticStack从入门到实践》学习笔记0-2
零、ElasticSearch前置——组件和插件的安装 0、前置知识: 1)ElasticSearch的安装、配置及如何在本地搭建集群: A、安装: a、前置安装JDK1.8+; b、根据自己需要的版本,在官网下载elasticsearch-6.1.1,并解压; ...原创 2018-11-27 11:55:30 · 538 阅读 · 0 评论 -
《ElasticStack从入门到实践》学习笔记0-1
零、ElasticStack概述 1、ElasticStack特点: 1)使用门槛低,开发周期短,上线快; 2)性能好,查询快,实时展示结果; 3)扩容方便,快速支撑增长迅猛的数据。 2、ElasticStack各组件作用: 1)ElasticSearch ====> ...原创 2018-11-27 10:59:12 · 564 阅读 · 1 评论 -
《ElasticStack从入门到实践》学习笔记5
五、ElasticSearch的分布式特性 1、分布式介绍 1)ES支持集群模式,即一个分布式系统。其好处主要有以下2个: A、可增大系统容量。比如:内存、磁盘的增加使得ES能够支持PB级别的数据; B、提高了系统可用性。即使一部分节点停止服务,集群依然可以正常对外服务。 2)ES集群由多个ES实例构...原创 2018-11-30 14:00:39 · 651 阅读 · 0 评论 -
《ElasticStack从入门到实践》学习笔记7
七、ElasticSearch的聚合分析 1.聚合分析简介 聚合分析,英文Aggregation,是ES除了搜索功能之外提供的针对ES数据进行统计分析的功能。 特点:①功能丰富,可满足大部分分析需求;②实时性高,所有计算结果实时返回。#聚合分析格式:GET my_index/_search{ "size":0, "aggs":{ #...原创 2018-12-04 13:54:21 · 370 阅读 · 0 评论 -
《ElasticStack从入门到实践》学习笔记10
十、Logstash入门与运行机制 1.介绍: 1)Logstash,ElasticStack中的数据收集处理引擎,可以视作一个ETL工具,是一个开源的数据收集引擎,它具有备实时数据传输能力,可统一过滤来自不同源的数据,并按照开发者的制定的规范输出到目的地。输入插件从数据源获取数据,过滤器插件根据用户指定的数据格式修改数据,输出插件则将数据写入到目的地。其工作流程主要分...原创 2018-12-07 11:12:16 · 917 阅读 · 0 评论