Elasticsearch.Net、Nest批量插入BulkAll

最新推荐文章于 2022-10-31 15:48:31 发布

repeatedly

最新推荐文章于 2022-10-31 15:48:31 发布

阅读量2.6k

点赞数

分类专栏： # .NET Core # .NET Core 实践 Elasticsearch 文章标签： Nest BulkAll ElasticSearch.Net

本文链接：https://blog.csdn.net/u014654707/article/details/89570844

版权

本文展示了如何使用Elasticsearch.Net和Nest的BulkAll方法进行批量数据导入。通过并发异步的方式，提高数据导入的效率。提供了代码示例，包括监控导入过程的方法以及利用C#的local function特性来实现更灵活的控制。

摘要由CSDN通过智能技术生成

demo地址：BulkAll

批量导入

实现目标：想要使用ElasticSearch的 .Net Api客户端NEST批量导入数据，并发异步高效的批量导入
NEST提供了BulkAll
不废话，上代码

            const int size = 1000;
            var tokenSource = new CancellationTokenSource();

            var observableBulk = elasticClient.BulkAll(list, f => f
                    .MaxDegreeOfParallelism(8)
                    .BackOffTime(TimeSpan.FromSeconds(10))
                    .BackOffRetries(2)
                    .Size(size)
                    .RefreshOnCompleted()
                    .Index(indexName)
                    .BufferToBulk((r, buffer) => r.IndexMany(buffer))
                , tokenSource.Token);

            var countdownEvent = new CountdownEvent(1);

            Exception exception = null;

            var bulkAllObserver = new Bu