weixin_45589914-CSDN博客

原创 es动态索引报错，重建索引

项目场景：ES重建索引问题描述：日志数据插入到动态索引中，导致报错java.lang.IllegalArgumentException: Limit of total fields [1000] in index [track-tech-msee-backend-2021-01] has been exceeded 原因分析：由于前期使用了动态索引，第一次数据插入后会为对应的字段建立索引，出现相同字段不同的类型，插入数据报错引。解决方案：需要重建索引，并把数据导入到新的索引中第一

2021-01-29 09:38:17 447

原创 2020-12-05

Flink ES sink 安全校验Flink ElasticSearch Sink 密码安全校验如何编写ES Sink(需要输入用户名和密码)主程序代码Flink ElasticSearch Sink 密码安全校验如何编写ES Sink(需要输入用户名和密码)Flink官网没有给出详细的如果，ES带有权限校验，如何连接下面就是详细的ES Sinkobject EsSink { def esBuilder(params:ParameterTool): ElasticsearchSink.

2020-12-05 11:29:12 236

原创 Flink自定义source连接ES

Flink自动定义source继承sourceFunction重写run和cancel方法class EsSource extends SourceFunction[String]{ //判断是否取消运行 var isRunning = true override def run(ctx: SourceFunction.SourceContext[String]): Unit = { val client: JestClient = EsClient.getEsClient()

2020-12-03 10:01:16 2341

原创 Springboot常见语法使用总结

springboot常见注解(此处通过具体的实例，来方便查询)@RestController//返回rest风格请求@RequestMapping("/eval/v1/dashboard")//下面的所有url地址钱都添加/eval/v1/dashboardpublic class DashboardController { @Autowired DashboardService dashboardService; @Autowired UserService use

2020-11-17 16:11:58 726

原创 elasticsearch-header安装

elasticsearch-header安装ElasticSearch-head 插件安装没有使用xpack进行权限管理如果你使用了xpack进行权限管理，请继续往下看ElasticSearch-head 插件安装没有使用xpack进行权限管理#在一个你喜欢的目录下面使用如下命令git clone git://github.com/mobz/elasticsearch-head.git#进入到elasticsearch-head目录cd elasticsearch-head#执行下面两个命令

2020-09-23 13:56:31 1694

原创 2020-09-21

ES使用xpack进行权限管理打开配置文件vim elasticsearch/config/elasticsearch.yml添加配置xpack.security.enabled: true设置密码按照提示，完成密码设置elasticsearch/bin/elasticsearch-setup-passwords interactive配置Kibana打开kibana配置文件vim kibana/config/kibana.yml添加如下配置elasticsearch.use

2020-09-21 15:48:21 82

原创 2020-09-17

Flink使用总结记录自己使用flink时产生问题定位问题新手使用常见问题记录自己使用flink时产生问题定位问题新手使用常见问题1、集群环境和本地不一致刚使用的时候一定要保证本地环境和集群环境一致，不然报错了可能找不到错误2、线程安全问题使用全局变脸的时候一定要注意，会发现keyBy之后两个不一样的Key居然出现在了同一个流里。3、如何定位问题首先，先看看出错的原因，如果在日志能找到，直接解决就可以。如果找不到，可以在数据报错的位置的前面或者后面进行日志打印，看看数据到底是哪里出错了。

2020-09-17 13:10:26 41

原创 2020-09-13

新人入门第一篇文章自我介绍一下，应届生，非计算机专业，非985,211就是一群普通的一本院校，本科三年全是靠划水摸鱼过来的，本来是打算跨专业读研的，复习半年的数学，还有专业课知识，发现，其实并不喜欢要报考的专业，然后果断放弃考研，找工作。整理了一下自己的会的知识，发现除了会打lol别的啥都不会，但工作还是要找，饭还是要吃，于是就一家一家的投简历，面试，结果应届生实习，所有开的工资都是100多块钱一天，就算是正式员工也很少有月薪超过6k的，而且身在南京，一座高校林立的城市，根本就不缺大学生，真的是好后悔，大

2020-09-13 18:59:14 170

原创造数据程序，datafaker的简单介绍

datafaker前言一、什么是datafaker二、使用步骤1.下载2.根据需要安装合适的package三、执行测试样例前言Datafaker是一个大规模的测试数据和流测试数据生成工具。它与python2.7和python3.4+兼容。欢迎下载使用。github地址是：https://github.com/gangly/datafakergithub上的文档同步更新一、什么是datafakerDatafaker是用python编写的，支持python2.7、python3.4+。当前版.

2020-08-30 22:02:13 693

原创常见的排序算法

常用排序算法时间复杂度为o(n^2)冒泡排序选择排序插入排序时间复杂度为o(n*log(n))归并排序快速排序时间复杂度为o(n^2)冒泡排序比较规则：每一个i位置上的数和i+1位置上的数进行比较，如果i位置上的数比i+1位置上的数大，就交换他们的位置，直到遍历完整个数组，至此排完一个数。然后对[0,i-1]位置上的数进行排序，重复此规则。时间复杂度：o(n2)代码public class BubbleSort { public static void main(String[] ar

2020-08-02 19:48:47 74

weixin_45589914的博客