BAStriver的博客

目录 1. Avsc和Avro的关系 2. Avsc生成Java类 3. 根据Java类生成Avro格式的测试数据 3.1 Avsc的schema types 3.2 Complex type的使用 3.3 生成测试数据 1. Avsc和Avro的关系 AVSCfile is anApache AvroSchema. Avro is a remote procedure call and data serialization framework developed within...

1.文档基本操作分为：文档获取、删除、更新。以下是一些简单的测试。 2.假设当前ES存在如下数据(两条)。 3.文档操作源码如下： package com.bas.demo; import com.bas.util.ESUtil; import org.elasticsearch.action.get.GetResponse; import org.elasticsearch.cli...

1.以下是封装了ES常用的基本方法，可以用来做一些简单的测试。 如：获取ES的TransportClient/IndicesAdminClient、判定索引是否存在、创建索引、设置mapping、删除索引、插入文档。 package com.bas.util; import org.elasticsearch.action.admin.indices.create.CreateInde...

1.如果需要查看如何创建Maven项目，可以看这里：ES6.6.2 使用小结 - 创建Maven项目 2.先在ES(安装了head插件)创建一个Index吧，如果是单机部署ES，副本数记得写0，不然健康值会是黄色，假设这里索引名是"app_account"。 3.承接上一篇文章，这里首先是在com.bas下创建demo包，以下是完整代码： package com.bas.demo; ...

1.前提：假设ES、JDK、Idea以及Maven都安装成功。 2.创建Maven快速启动项目。选择项目类型： 3.输入基础包名、项目名称： 4.选择Maven安装路径： 5.选择项目路径： 6.选择构建项目： 7.构建完成大概需要几分钟啦，然后呢，修改pom.xml添加ES依赖包： <dependencies> <!-- https...

1.首先，接下来的查询demo里面包含了10常用的方法：term查询、terms查询、range查询、exists查询、prefix查询、wildcard查询、regexp查询、fuzzy查询、type查询、ids查询。 2.以下是封装了10个常用方法的QueryUtil： package com.bas.util; import org.elasticsearch.action.sear...

1.使用6.6.2版本的ES前，首先来安装ES吧，Win10下安装教程参考：https://blog.csdn.net/chy2z/article/details/80461503 2.接着，就是通过Java来连接ES了。首先要知道分为两种Java Rest客户端：低级客户端、高级客户端。 低级客户端：该客户端通过http来连接Elasticsearch集群。用户在使用该客户端时需要将请求...

1.通过这篇文章来讲讲如何进行全量查询。 2.假设当前ES存在如下数据(两条)。 3.全量查询源码如下： package com.bas.demo; import com.bas.util.ESUtil; import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.client.tr...

1.文档的操作基本分为：查询、删除、更新、插入。 这些操作都可以进行批量进行，包括：批量处理器执行、批量执行、查询时执行删除。 2.假设当前ES存在如下数据(两条)。 3.批量操作源码如下： package com.bas.demo; import com.bas.util.ESUtil; import org.elasticsearch.action.bulk.*; impo...

1.首先，在我看来，基本上根据数据的流向自底向上划分五层，跟传统的数据仓库其实很类似，数据类的系统，概念上还是相通的，分别为五个：数据采集层、数据处理层、数据分析层、数据访问层及应用层。 2.数据采集层：由于数据源的多样性，很多时候我们采集的工具可能不止一个。大数据平台架构跟传统数据仓库有一个不同，就是同一层次，为了满足不同的场景，会采用更多的技术组件，体现百花齐放的特点。既包括传统的ETL离线...