elasticsearch java api 更新,elasticsearch 5.4 JAVA API 使用

最新推荐文章于 2023-04-25 10:48:00 发布
最新推荐文章于 2023-04-25 10:48:00 发布
阅读量302 收藏 1
点赞数
文章标签： elasticsearch java api 更新

JAVA API

根据官网API进行的整合，提供了增删改查、分组的demo

前置条件 ：

JDK1.8

elasticsearch 5.4

maven 项目

1.新建maven项目，添加依赖

#添加more-core依赖，或者自行添加sping依赖代替(私服依赖)

com.umpay

mars-core

2.0.0-SNAPSHOT

#client依赖(必须的)

org.elasticsearch.client

transport

5.4.1

#使用了LifeCycle的生命周期类(非必须)，可使用Spring的生命周期或者其他来实现(私服依赖)

com.umpay

typhos-kernel

关于日志

若使用log4j 2来记录日志，增加如下依赖

org.apache.logging.log4j

log4j-api

2.8.2

org.apache.logging.log4j

log4j-core

2.8.2

若使用其他日志，如logback,需添加slf4j桥转接

org.apache.logging.log4j

log4j-to-slf4j

2.8.2

2.客户端实现

ElasticsearchClient.java

①设置变量,set方法自己生成

private String clusterName = "elasticsearch";//设置集群名称

private String clusterNodes;//节点的ip:port

private boolean sniff = true;// 是否自动检测变化节点

private String pingTimeout = "5s";// 等待来自节点的ping响应的时间。默认为5 s

private boolean ignoreClusterName = false;//是否忽略集群名称

private String nodesSamplerInterval = "5s";// 对列出和连接的节点进行采样的频率。默认为5 s

private TransportClient client;

②启动方法

@Override

protected void doStart( ) throws Exception {

buildClient();

logger.info( "elasticSearch client is connected");

super.doStart( );

}

protected void buildClient( ) throws Exception {

client = new PreBuiltTransportClient( settings( ) );

Assert.hasText( clusterNodes, "[Assertion failed] clusterNodes settings missing." );

for( String clusterNode : clusterNodes.split( ";" )) {

String hostName = clusterNode.substring( 0,clusterNode.indexOf( ":" ) );

String port = clusterNode.substring( clusterNode.indexOf( ":" )+1,clusterNode.length( ) );

Assert.hasText( hostName, "[Assertion failed] missing host name in 'clusterNodes'" );

Assert.hasText( port, "[Assertion failed] missing port in 'clusterNodes'" );

logger.info( "adding transport node : " + clusterNode );

client.addTransportAddress( new InetSocketTransportAddress( InetAddress.getByName( hostName ), Integer.valueOf( port ) ) );

}

client.connectedNodes( );

}

private Settings settings( ) {

return Settings.builder( ).put( "cluster.name", clusterName ).put( "client.transport.sniff", sniff )

.put( "client.transport.ignore_cluster_name", ignoreClusterName )

.put( "client.transport.ping_timeout", pingTimeout )

.put( "client.transport.nodes_sampler_interval", nodesSamplerInterval ).build( );

}

③停止方法

@Override

protected void doStop( ) throws Exception {

try {

logger.info( "Closing elasticSearch client" );

if( client != null ) {

client.close( );

}

} catch( final Exception e ) {

logger.error( "Error closing ElasticSearch client: ", e );

}

super.doStop( );

}

④设置单例

private ElasticsearchClient(){}

public static ElasticsearchClient getInstance(){

return InstanceHolder.instance;

}

private static final class InstanceHolder {

public static final ElasticsearchClient instance = new ElasticsearchClient( );

}

⑤ 提供getClient方法

public TransportClient getClient(){

return client;

}

3.sping 配置

init-method="start" destroy-method="stop">

4.启动

public static void main( String[] args ) throws Exception {

App.getInstance( ).start( );//可替换成其他加载spring的方式

}

5.数据的增删改

① 单条数据插入

public static void insert( ) {

TransportClient client = ElasticsearchClient.getInstance( ).getClient( );

//bill-->索引，submit-->类型

IndexResponse response =client.prepareIndex( "bill", "submit" ).setSource( "{\"mobile\":\"14445424" + i + "\",\"status\":\"1\",\"orgId\":\"553\",\"apId\":\"ap01\",\"bizCode\":\"001\"}" ).get( );

System.out.println( response.getIndex( ) + "-" + response.getId( ) + "-" +esponse.getType( ) );

}

②批量插入、删除

bulk

public static void bluk( ) {

TransportClient client = ElasticsearchClient.getInstance( ).getClient( );

BulkRequestBuilder bulkRequest = client.prepareBulk( );

for( int i = 0; i < 1000; i++ ) {

//可add index/delete 请求

bulkRequest.add( client.prepareIndex( "bill", "submit" ).setSource("{\"mobile\":\"144dfdf5424" + i + "\",\"status\":\"5\",\"orgId\":\"5ds5\",\"apId\":\"ap03\",\"bizCode\":\"002\"}" ) );

bulkRequest.add(client.prepareDelete( "bill", "submit" ,"1" ));//index,type,id

}

//此时发送处理请求

BulkResponse bulkResponse = bulkRequest.get( );

if( bulkResponse.hasFailures( ) ) {

//失败处理

}

}

③ BulkProcessor--它提供了一个简单的接口，可以根据请求的数量或大小，或在给定的时间段后自动执行批量操作。

BulkProcessor bulkProcessor = BulkProcessor.builder(

client, <1>

new BulkProcessor.Listener() {

@Override

public void beforeBulk(long executionId,

BulkRequest request) { ... } <2>

@Override

public void afterBulk(long executionId,

BulkRequest request,

BulkResponse response) { ... } <3>

@Override

public void afterBulk(long executionId,

BulkRequest request,

Throwable failure) { ... } <4>

})

.setBulkActions(10000) <5>

.setBulkSize(new ByteSizeValue(5, ByteSizeUnit.MB)) <6>

.setFlushInterval(TimeValue.timeValueSeconds(5)) <7>

.setConcurrentRequests(1) <8>

.setBackoffPolicy(

BackoffPolicy.exponentialBackoff(TimeValue.timeValueMillis(100), 3)) <9>

.build();

说明：

<1> elasticsearch客户端

<2> 每个批量请求前调用，例如可以查询numberOfActions->request.numberOfActions()

<3> 每个批量执行后调用此方法。例如可以检查是否有一些失败的请求->response.hasFailures()

<4> 每个批量执行后，抛出了异常调用此方法,大部分失败了

<5> 设置批量大小，比如每到10000个批次就处理

<6> 设置数据量大小，比如每5M处理一次

<7> 设置定时处理间隔，比如每5s处理一次

<8> 设置并发请求的数量。值为0意味着只有一个单一的请求被允许执行。值为1时表示1个并发请求，请求是累计的批次请求

<9> 设置一个补偿政策，当一次批量请求失败，并抛出EsRejectedExecutionException (表明请求处理不过来)的异常时，初次等待100ms重试，重试3次，重试等待时间呈指数增长，禁用补偿政策,通过设置BackoffPolicy.noBackoff().

默认值：

bulkActions = 1000

bulkSize = 5mb

不设置 flushInterval

concurrentRequests = 1

backoffPolicy设置次8重试和开始50毫秒的延迟。总等待时间大约是5.1秒。

添加的请求

IndexRequest、DeleteRequest、UpdateRequest、还有upsert的请求

bulkProcessor.add(new IndexRequest("twitter", "tweet", "1").source(/* your doc here */));

bulkProcessor.add(new DeleteRequest("twitter", "tweet", "2"));

bulkProcessor.add(new UpdateRequest( "report", "test", "2" ).doc( "{\"orgId\":\"1\"}" ))

//id存在则更新否则就插入

bulkProcessor.add(new UpdateRequest( "report", "test", "2" ).doc( "{\"orgId\":\"1\"}" ).upsert( /* your doc here */))

BulkProcessor关闭

当文档加载到 BulkProcessor后，通过使用awaitClose或 close方法将其关闭:

bulkProcessor.awaitClose(10, TimeUnit.MINUTES);

或者

bulkProcessor.close();

如果被设置flushInterval，这两种方法都可以flush任何剩余的文档,并禁用所有其他预定的flush政策。如果启用了并发请求，在等待的超时时间内完成了所有的bulk请求，awaitClose方法将会返回true ,否则会返回false。close方法不等待任何剩余的批量请求完成并立即退出。

④update --当id不存在时将会抛出异常

public static void update( ) throws InterruptedException, ExecutionException {

TransportClient client = ElasticsearchClient.getInstance( ).getClient( );

UpdateRequest updateRequest = new UpdateRequest( "report", "test", "338799bd8c40e1963fd56557fb161c" ).doc( "{\"orgId\":\"333\"}" );

client.update( updateRequest ).get( );

}

⑤upsert--id不存在时就插入

public static void upsert( ) throws InterruptedException, ExecutionException {

TransportClient client = ElasticsearchClient.getInstance( ).getClient( );

UpdateRequest updateRequest = new UpdateRequest( "report", "test", "338799bd8c40e1963fd56557fb161c" ).doc( "{\"orgId\":\"333\"}" ).upsert(/*source*/ );

client.update( updateRequest ).get( );

}

⑥分组

分组的结果是树形结构的json,使用时需要自行拼装需要的对象

{

"aggregations": {

"ap_count": {

"doc_count_error_upper_bound": 0,

"sum_other_doc_count": 0,

"buckets": [

{

"key": "ap02",

"doc_count": 304000,

"org_count": {

"doc_count_error_upper_bound": 0,

"sum_other_doc_count": 0,

"buckets": [

{

"key": "5ds5",

"doc_count": 300000

},

{

"key": "5ds3",

"doc_count": 2000

},

{

"key": "5ds4",

"doc_count": 2000

}

]

}

},

{

"key": "ap03",

"doc_count": 300000,

"org_count": {

"doc_count_error_upper_bound": 0,

"sum_other_doc_count": 0,

"buckets": [

{

"key": "5ds5",

"doc_count": 300000

}

]

}

}

]

}

}

}

java code

public static void aggregation( ) {

SearchRequestBuilder sbuilder = ElasticsearchClient.getInstance( ).getClient( ).prepareSearch( "bill" ).setTypes( "submit" );

TermsAggregationBuilder apBuilder = AggregationBuilders.terms( "ap_count" ).field( "apId" );

TermsAggregationBuilder orgBuilder = AggregationBuilders.terms( "org_count" ).field( "orgId" );

apBuilder.subAggregation( orgBuilder );

sbuilder.addAggregation( apBuilder );

SearchResponse response = sbuilder.execute( ).actionGet( );

Map aggMap = response.getAggregations( ).asMap( );

StringTerms teamAgg = (StringTerms) aggMap.get( "ap_count" );

Iterator teamBucketIt = teamAgg.getBuckets( ).iterator( );

while( teamBucketIt.hasNext( ) ) {

Bucket buck = teamBucketIt.next( );

String key = buck.getKeyAsString( );

long count = buck.getDocCount( );

System.out.println(key+"--"+count);

Map subaggmap = buck.getAggregations( ).asMap( );

StringTerms orgAgg = (StringTerms) subaggmap.get( "org_count" );

Iterator orgBucketIt = orgAgg.getBuckets( ).iterator( );

while(orgBucketIt.hasNext( )){

Bucket orgBuck = orgBucketIt.next( );

String orgKey=orgBuck.getKeyAsString( );

long orgCount = orgBuck.getDocCount( );

System.out.println(orgKey+"--"+orgCount);

}

}

}

6.数据查询

①get--根据index,type,id

GetResponse response = client.prepareGet("twitter", "tweet", "1").get();

可设置是否多个线程处理请求,默认为true

GetResponse response = client.prepareGet("twitter", "tweet", "1")

.setOperationThreaded(false)

.get();

②根据条件查询、分页

public static void queryPage(){

TransportClient client = ElasticsearchClient.getInstance( ).getClient( );

SearchResponse response = client.prepareSearch("bill")

.setTypes("submit")

.setSearchType(SearchType.DFS_QUERY_THEN_FETCH)

.setQuery(QueryBuilders.termQuery("orgId", "5ds5")) // Query

//.setPostFilter(QueryBuilders.rangeQuery("age").from(12).to(18)) // Filter

.setFrom(0).setSize(60).setExplain(true)

.get();

SearchHits hits = response.getHits();

for (SearchHit searchHit : hits) {

Map source = searchHit.getSource();

for(Object key : source.keySet( )){

System.out.println(key+"-" +source.get( key ));

}

}

}

PraiseSunMan
关注
Elasticsearch search_after方法JAVA API
疏影横斜水清浅
06-18 2534
目录ES代码片段JAVA伪代码片段 看了一下网上没找到search_after的JAVA API，自己手动写一下。 关于scroll与search_after的选择，仁者见仁智者见智吧 ES代码片段 GET /index/_search { "size" : 10, "docvalue_fields" : [ { "field" : "sessionId", "format" : "use_field_mapping" }, { "fiel
使用Java操作Elasticsearch(Elasticsearch的java api使用)
HiterCoder
10-21 560
1、Elasticsearch是基于Lucene开发的一个分布式全文检索框架，向Elasticsearch中存储和从Elasticsearch中查询，格式是json。 索引index，相当于数据库中的database。 类型type相当于数据库中的table。 主键id相当于数据库中记录的主键，是唯一的。 向Elasticsearch中存储数据，其实就是向es中的index下面的...
ElasticSearch 5.4 的测试java工程 依赖包很全 有配置好的log4j
10-24
ElasticSearch 5.4 的测试java工程 依赖包很全 有配置好的log4j 导入就能测
elasticsearch5.4的java api
气象信息管理员
07-12 1396
使用spring boot框架，利用elasticsearch的java api连接集群，获取索引信息。
ElasticSearch5.4 JAVA API 一、（出发篇）
anyi8827的博客
07-06 245
说道ElasticSearch,我是感触非常深刻，应公司项目急需，将ElasticSearch2.2.2版本升级搜索引擎至高版本ElasticSearch5.4，以提高性能，减轻数据库压力，刚接触es不久，至于公司使用es2.2.2我却不知情，因为当时同事为减轻数据库压力，引入第三方插件，刚上线不久，因其他原因离职，后来面对es种种问题，却无人问津，好，只能升级es版本修...
elasticsearch5.4.0 java开发注意事项
陈守璐的专栏
07-10 2613
1，集群配置 1).node.master: true 指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。  2).node.data: true 指定该节点是否存储索引数据，默认为true。  4.master和data同时配置会产生一些奇异的效果：  1) 当master为false，而data为
elasticsearch5.4.0 java开发记录一
lyl
09-25 1454
本次的项目是使用的技术体系有：Spring3.1.1+ Spring mvc3.1.1 +mybatis3.1.1 +oracle + maven + elasticsearch + jdk1.8+slf4j 技术体系新的东西只有es 本次系列主要是用来记录 elasticsearch API java 项目中使用，方便自己记忆。 项目采用maven构建，该项目主要用来方便运营
Elastic search java api 根据索引前缀查所有索引
xiaowenzhong的博客
06-23 2298
如果es 索引存储的数据过大，一般采用 前缀+日期的格式将数据分片，如：index-2020-06-23；如果想要查询该前缀下有多少索引，可以用命令：**GET /_cat/indices/index*?v&s=index** 也可以用下面java代码可以实现： ...
ElasticSearch 5.4 java依赖包
10-12
在使用“es5.4”这个压缩包时，你需要将这些依赖项添加到你的Java项目中，确保Elasticsearch能够正常运行。同时，了解这些核心概念将有助于你更好地理解和利用Elasticsearch的功能，从而在实际应用中发挥其强大效能...
Elasticsearch数据更新API
Ghost Stories
03-29 2859
简单字段更新 使用脚本按条件更新 使用更新api创建或删除文档
elasticsearch-5.4.0.zip
09-06
elasticsearch-5.4.0.zip，全面的jar包，说明，解释，只有你想不到的，没有你找不到的。包含源码，elasticsearch-5.4.0.zip，全面的jar包，说明，解释，只有你想不到的，没有你找不到的。包含源码，
使用BulkIngester + Stored Script 更新数据 （Elasticsearch Java Client API ）
最新发布
doobetter的CSDN
04-25 373
8.7之后才会有BulkIngester 替代 BulkProcessor, 在实时流中接数据需要这样的API。(新API 不熟悉 ，感觉比High Level api 难用)bulkIngester 官网。(1) 保存script。(2) 在代码中使用。
Elasticsearch5.4 Java API操作
opera95的博客
09-13 1738
public class ClientFactory {      @SuppressWarnings({ "resource", "unchecked" }) public static Client transportClient() { //创建client TransportClient transportClient = null; try { //设置集群名称(配置信息)
elasticsearch Java API 之Update API
weixin_34220834的博客
06-09 303
2019独角兽企业重金招聘Python工程师标准>>> ...
Elasticsearch：运用 Java 更新或删除 Elasticsearch 文档
Elastic 中国社区官方博客
10-25 4043
在 Elasticsearch 的设计中，一般来说更新或者删除文档并不常见。这其中的原因最主要是 Elasticsearch 以搜索为主，针对大多数的文档来说，比如日志，指标，根本就不需要更新或者删除。更新文档通常会给 Elasticsearch 的性能带来一些影响，所以一般来说不建议频繁地更新文档。 在我的上一篇文章 “Elasticsearch：运用 Java 创建索引并写入数据” 中， 我详细地介绍了几种常见的通过 Java 创建 Elasticsearch 文档的方法。在今天的文章中，我来介绍几种
elasticsearch使用指南之Elasticsearch Document Update API详解、原理与示例 ...
weixin_34023982的博客
03-15 577
作者简介：《RocketMQ技术内幕》作者，中间件兴趣圈公众号 维护者。 本文将详细介绍单文档(Document)的更新API，其更新API如下： public final UpdateResponse update(UpdateRequest updateRequest, RequestOptions options) throws IOExcep...
Java操作ElasticSearch之Update数据 and Java操作ElasticSearch之Delete数据
弹吉他的ZTT的博客
10-13 904
Java操作ElasticSearch之Update数据 ElasticSearch提供了根据索引名称，类别，文档ID来修改数据，修改的设置数据可以是Map，Json串，自带工具。我们实际开发一般用Json； 1 2 3 4 5 6 7 8 9 10 11 12 13
elasticsearch java update 更新成功
自由的大月
01-20 6252
elasticsearch update java 更新代码
【Elasticsearch6.5】使用API新建、更新、删除、查询索引数据
Dream it Possible
09-06 706
引言 通过上篇博客，我们已经在Linux环境下安装好了单机版的Elasticsearch和Head插件。本篇博客主要是照着官网操作一些API，熟悉一下如何建立、查询索引等操作，熟悉一下Head管理页面，这样在后面集成代码的过程中也会有所共鸣。 Index API 通过Index API，我们可以创建或者更新一个具体的索引，数据是JSON格式的文档，通过下面的命令，可以创建一个名为book，类型为_doc，id为377c-11ea-bbca-ec0d9a30b0c2的索引： 指定id curl -.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值