elasticsearch各种问题总结

elasticsearch 出于安全考虑，不允许使用root用户启动。

解决方法：

1. 创建组elasticsearch，并在组elasticsearch下创建用户elasticsearchUser

2. elasticsearch所有目录的所有者必须是elasticsearchUser

3. 进入/elasticsearch/bin目录下，使用elasticsearchUser用户执行 ./elasticsearch 启动elasticsearch

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

系统级别默认的最大打开文件数太小，也可能导致elasticsearch无法启动！

解决方法：/etc/sysctl.conf 文件中最后一行添加：vm.max_map_count=655300

执行“sudo sysctl -p”使配置生效

ES日期校验导致java 或者python迁移数据到elasticsearch异常中断

场景：通过java API迁移数据时，发现经常自动中断，更换为python API迁移数据，问题同样发生，且无明显规律！

通过日志查看到每次断开时插入的最后一条数据和下一条数据，发现只要数据中包含日期，就会产生中断！

原因：在一开始设置“mapping”时，数据的类型被设置成文本类型，当数据中存在“日期类型”的数据，

ES 就会认为插入类型错误，实际上，数据就是文本类型，只不过数据中间包含了日期。

解决方案：关闭日期校验

docker构建elasticsearch集群无法通过外网访问

场景：玩家A突然告诉我，通过dockerpose构建elasticsearch集群简单又方便。

于是，自己就照搬官网的构建文件“https://www.elastic.co/guide/en/elasticsearch/reference/5.6/docker.html”，

3秒钟在腾讯云构建了一个2个节点的elastic集群（正常应该要有3个节点），方便至极兴奋的跳起来了。

问题：打开浏览器验证集群：“网页无法正常访问”。

排查过程：

1. 服务器中直接使用curl 127.0.0.1:9200 访问正常

2. 查看防火墙，发现防火墙已关闭，排除防火墙原因

3. 腾讯云嘛，经常玩的都懂，于是提工单，在腾讯云的帮助下，腾讯云工程师果断撇清腾讯云服务器

（事实证明人家真没有问题，但同时也暴露一个问题：防火墙关闭、安全组也打开了9200，腾讯云

工程师协助检查，发现9200依旧被过滤，无法访问）

4. 反复启动多次容器，仔细查看日志

发现一条WARNING: IPv4 forwarding is disabled. Networking will not work.

直接粘贴“百度”发现了标准的解决方案

更改 /etc/sysctl.conf中的“ net.ipv4.ip_forward=1”，默认其实是0.

更改后执行“systemctl restart network”，再次启动elasticsearch则可以通过外网访问！

elasticsearch7.0无法创建索引

常见：QQ群小伙伴反馈 创建索引报错，截图如下。

解决方案：群内大神回复，官方文档中已解释：集群最大分片数只能是1000

elasticsearch7.0 实验数据获取从哪里来

问题：要学习必须有足够的实验数据，从哪里来？

解决方法：群里面有人推荐“kaggle（https://www.kaggle.com/datasets)，是一个数据网站，里面有各种各样的数据，

虽然通过官网的工具，也可以自己造数据，但要自己造数据的话，一般人能想到

在文本类型的数据中添加“日期”吗？

所以，kaggle的数据更加真实，实验的过程中能够发现更多实际问题！

阿里云mysql同步elasticsearch

解决方案：

1. 使用阿里云DTS传输工具:https://blog.csdn.net/u010569419/article/details/89924494
2. 通过logstash：https://www.elastic.co/cn/products/logstash
3. 使用elasticsearch官网对应的API：https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/java-docs-index.html

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，不论你是刚入门Java开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！**](https://bbs.csdn.net/topics/618164986)

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！