细述elasticsearch搭建集群后公网流量耗费过大的问题

 

笔者前端时间搭建了elk集群,开始用的还是没有问题的,但是后来elasticsearch查询有时候快,有时候慢,一直在兆elasticsearch本身的问题,还以为自己查询慢是代码的问题.

 

然后偶尔上了一次阿里云,看了机器的公网流出和流入流量对比图.如下:最上面两条的流入和流出带宽直接超了,,,ecs的带宽是4兆的.

 

然后想着有可能是带宽不足导致的es的查询变慢,毕竟es的集群间的日志数据传输有可能占大头

然后就去服务器上执行了iftop -i eth1 -n -P命令,查看ecs的流出ip信息

可以看到流入与流传的ip基本上就是固定的es集群的ip

实锤了,基本上就是es集群数据传输惹得祸 了.

 

解决方案:elasticsearch.yml文件中修改配置.  原先配置的是network.host: 0.0.0.0 然后改成下面那样

保证节点与节点之间相互交互不采用公网,采用内网,就可以保证公网流量正常使用了.设置成功之后

图片的10点之后图表流量走向.可以看到设置成功之后还是很有效果的.

然后自己进行代码级别的es查询如下

    @Test
    public void testTaskRecord(){

        for (int i = 0; i <100; i++) {
            long l = System.currentTimeMillis();
            BoolQueryBuilder builder = QueryBuilders.boolQuery();
            builder.must(QueryBuilders.matchPhraseQuery("branchCode","CPIC320200").slop(MatchQuery.DEFAULT_PHRASE_SLOP));
            // 2.模糊查询 name、 subtitle、detail含有 搜索关键字
            builder.must(QueryBuilders.matchPhraseQuery("wordsText",  "太平洋财险无锡分公司"+"太平洋保险" ).slop(MatchQuery.DEFAULT_PHRASE_SLOP));
            // 3.调用ES接口查询
            Iterable<ESTaskRecordAudioBranchWordsDto> page = eSTaskRecordAudioTranslateDao.search(builder);
            ArrayList<ESTaskRecordAudioBranchWordsDto> esTaskRecordAudioBranchWordsDtos = Lists.newArrayList(page);
            System.out.println(esTaskRecordAudioBranchWordsDtos.toString());
            System.out.println("耗时："+(System.currentTimeMillis()-l));
        }

    }

然后发现下面的耗时打印如下:  基本上第一次的耗时都比较久,这个暂时还没有解决方案,

另外过程中也有耗时达到100毫秒以上的..具体原因还得继续查.至少不应该是带宽问题了.

[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：158
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：33
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：47
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：63
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：46
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：42
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：45
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：45
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：80
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：74
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：39
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：191
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：65
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：50
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：43
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：50
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200, branchName=无锡分公司, branchPath=CPIC/CPIC320200, account=d9c095a6-f289-496a-bd1f-a6ea09f21117, wordsId=礼貌用语.txt, wordsText=太平洋财险无锡分公司您好,太平洋财险无锡分公司你好,太平洋财险无锡分公司太平洋保险, wordsType=004)]
耗时：42
[ESTaskRecordAudioBranchWordsDto(branchCodeWordsType=CPIC320200004, branchCode=CPIC320200