elasticsearch批量索引数据

接触solr不久发现与其同级别的elasticsearch最近很火,自己安装测试后,感觉比solr好用,至少不像solr那么多配置(初级认识)。接触elasticsearch就不得不研究建索引的问题,现在各方面的数据量都在不断增长,所以对elasticsearch批量索引,是很有用的。
以下批量索引代码:
Settings settings=ImmutableSettings.settingsBuilder()
.put("client.transport.sniff",true).put("cluster.name","myelasticsearch").build();
//设置客户端连接transport
Client client=new TransportClient(settings).addTransportAddress(
new InetSocketTransportAddress("192.168.1.100",9300));
//建立批量提交类
BulkRequestBuilder bulkRequest=client.prepareBulk();
while(rs.next()){
//建立批量json对象
bulkRequest.add(client.prepareIndex("ryxx","tweet",rs.getString("id")).setSource(jsonBuilder().startObject()
.field("name",rs.getString("name"))
.field("age",rs.getString("age"))
.field("address",rs.getString("address"))
.field("phone",rs.getString("phone"))
.endObject()
));
}
//批量提交到服务器
BulkResponse bulkResponse=bulkRequest.execute().actionGet();
//提交过程是否产生错误
if(bulkResponse.hasFailures()){
System.out.println(bulkResponse.buildFailureMessage());

}

提交数据的速度跟查询数据库的速度、机器配置等有关,如果是集群的话还跟网络带宽相关。另外我设置:index.number_of_shards:5 即5个分片 index.number_of_replics:1 即每个分片有一份备份
Elasticsearch 是一个开源的分布式搜索和分析引擎,用于快速存储、搜索和分析大量的数据。在 Elasticsearch 中,我们可以通过索引数据来建立搜索的数据集。 上传索引数据是指将数据导入到 Elasticsearch 中的过程。可以通过多种方式来上传索引数据,下面是一些常用的方法: 1. 使用 Elasticsearch 提供的 RESTful API:通过调用 Elasticsearch 的 RESTful API,我们可以将数据JSON 格式的文档插入到索引中。首先,我们需要创建一个索引,并指定索引名称、数据类型和字段的映射规则。然后,可以使用 API 中的索引命令来插入数据。 2. 使用 Logstash:Logstash 是一个开源的数据处理工具,它可以从各种来源(如文件、数据库、Kafka 等)读取数据,并将其转换为适合 Elasticsearch 的格式,然后将数据导入到 Elasticsearch 中。Logstash 支持多种输入和输出插件,可以根据需要来选择适合的插件。 3. 使用 Filebeat:Filebeat 是一个轻量级的日志数据收集器,它可以监控文件或目录中的变化,并将变化的数据发送到 Elasticsearch 或 Logstash 进行处理。通过配置 Filebeat,可以指定要监控的文件和数据格式,并将其传输到 Elasticsearch 中。 4. 使用批量处理 API:Elasticsearch 提供了一个批量处理 API,可以在一次请求中插入多个文档。可以将多个文档放在一个 JSON 数组中,然后使用批量处理 API 将整个数组上传到 Elasticsearch 中。 上传索引数据Elasticsearch 中的一个重要步骤,能够帮助我们构建强大的搜索和分析功能。通过以上方法,我们可以将不同来源和格式的数据上传到 Elasticsearch 中,以便后续的数据分析和搜索操作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值