elasticsearch 错误与工具收集
闲来无聊,收集收集bug!顺便有比较好的相关资源也会发布在这里!
wujianqinjian
从今天开始,改变世界!
展开
-
elasticsearch7 重建索引并迁移数据
elasticsearch7 重建索引并迁移数据步骤:创建新索引,推荐:GET 旧索引,然后做适当修改后,PUT执行通过_reindex 将原索引数据迁移到新索引- 注:大多数时候都是因为原索引存在设计错误,才需要重新创建索引,重新创建的索引可能因为数据类型问题导致用户数据部分迁移失败,例如:珠宝店的价格,索引中设置成integer类型,8000是可以正常存储,但3万就会报错!...原创 2019-05-11 17:59:07 · 11224 阅读 · 11 评论 -
elasticsearch _reindex Rejecting mapping update to [music_cover7] as the final mapping would have
elasticsearch重建索引后,使用_reindex报错?原因:1.elasticsearch6以后不允许一个索引下创建多个类型解决方案:建议在创建新索引的时候,类型与原索引一致,即:通过GET获取到原索引,仅更改index名称后直接PUT!...原创 2019-05-11 17:44:10 · 8891 阅读 · 0 评论 -
elasticsearch 聚合查询无效
elasticsearch 聚合查询无效可能的原因:数据迁移的时候,未考虑字段类型,导致ES 聚合查询时,对应字段的类型“text”,聚合查询是无法生效的,生效类型只能是整形等...原创 2019-05-11 17:37:28 · 9068 阅读 · 0 评论 -
elasticsearch各种问题总结
1 安装jdk2 安装elasticsearchmax virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]这里的"elasticsearch"是系统的用户名原创 2019-04-16 20:13:54 · 25411 阅读 · 3 评论 -
Fielddata is disabled on text fields by default. Set fielddata=true on [title] in order to load...
聚合查询报错Fielddata is disabled on text fields by default. Set fielddata=true on [title] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant...原创 2019-05-10 18:45:47 · 4320 阅读 · 0 评论 -
阿里云mysql同步elastic
Mysql 同步数据到 Eleasticsearch 阿里云mysql同步数据到elasticsearch,废话就不多说了,后面多说点,实在搞不清楚我想干啥,就从后面先看吧!1. 登录阿里云账号A(该账号为数据源mysql的账号),进入访问控制页面:https://ram.console.aliyun.com/, 创建一个角色,并绑定elasticsearch对应的阿里云账号B...原创 2019-05-08 01:01:42 · 3241 阅读 · 11 评论 -
阿里云elasticsearch无法查询到中文结果
原因:倒排索引将数据分成不同的分词,用这些分词词来匹配数据查询(可能我理解的不对),但默认的词库没有中文相关的分词。解决方法:网上查找中文分词词库,并上传到阿里云的插件中(我用的是热更新)...原创 2019-04-17 19:07:51 · 2310 阅读 · 5 评论 -
java API 插入elasticsearch报错
注意点:阿里云虽然可以领取免费的elk,但配置是比较低的,为了能顺畅体验,建议YML参数配置全部开启问题:如果不开启自动创建索引的话,通过java、python直接PUT文档会报错哦YML参数配置需要重启,已确认重启一次至少2到4个小时(免费,所以你懂得)...原创 2019-04-17 18:47:54 · 2226 阅读 · 2 评论 -
elasticsearch7.0 实验数据获取从哪里来
问题:要学习必须有足够的实验数据,从哪里来?解决方法:群里面有人推荐“kaggle”,是一个数据网站,里面有各种各样的数据,虽然通过官网的工具,也可以自己造数据,但要自己造数据的话,一般人能想到在文本类型的数据中添加“日期”吗?所以,kaggle的数据更加真实,实验的过程中能够发现更多实际问题!...原创 2019-04-17 18:28:54 · 2526 阅读 · 2 评论 -
elasticsearch7.0无法创建索引
问题来源:QQ群小伙伴反馈 创建索引报错,截图如下。解决方案:群内大神回复,官方文档中已解释:集群最大分片数只能是1000原创 2019-04-16 22:29:09 · 12479 阅读 · 2 评论 -
docker构建elasticsearch集群无法外网访问 IPv4 forwarding is disabled. Networking will not work
场景:玩家A突然告诉我,通过dockerpose构建elasticsearch集群简单又方便。于是,自己就照搬官网的构建文件“https://www.elastic.co/guide/en/elasticsearch/reference/5.6/docker.html”,3秒钟在腾讯云构建了一个2个节点的elastic集群(正常应该要有3个节点),方便至极兴奋的跳起来了。问题:打开浏览器验证...原创 2019-04-16 22:09:24 · 8310 阅读 · 0 评论 -
ES日期校验导致java 或者python迁移数据到elasticsearch异常中断
场景:通过java API迁移数据时,发现经常自动中断,更换为python API迁移数据,问题同样发生,且无明显规律!通过日志查看到每次断开时插入的最后一条数据和下一条数据,发现只要数据中包含日期,就会产生中断!原因:在一开始设置“mapping”时,数据的类型被设置成文本类型,当数据中存在“日期类型”的数据,ES 就会认为插入类型错误,实际上,数据就是文本类型,只不过数据中间包含了日期。...原创 2019-04-16 21:16:34 · 6500 阅读 · 0 评论 -
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
系统级别默认的最大打开文件数太小,也可能导致elasticsearch无法启动!解决方法:/etc/sysctl.conf 文件中最后一行添加:vm.max_map_count=655300执行“sudo sysctl -p”使配置生效...原创 2019-04-16 21:01:39 · 2272 阅读 · 0 评论 -
elasticsearch无法启动
elasticsearch 出于安全考虑,不允许使用root用户启动。解决方法:1 创建组elasticsearch,并在组elasticsearch下创建用户elasticsearchUser2 elasticsearch所有目录的所有者必须是elasticsearchUser3 进入/elasticsearch/bin目录下,使用elasticsearchUser用户执行 ./elast...原创 2019-04-16 20:39:10 · 10224 阅读 · 0 评论 -
java、python无法访问阿里云elasticsearch
开发人员一般通过java、python等脚本的API访问ES,但阿里云的ES已配置白名单,依旧无法访问!原因在于用户将阿里云的白名单配置为:0.0.0.0/0 默认无效,需参照下面配置!...原创 2019-04-16 20:30:23 · 11607 阅读 · 1 评论 -
阿里云elasticsearch试用套路
阿里云的elasticsearch可以给用户提供试用的机会,这一点还算是比较大方。但是,并没有领取页面,你必须通过elasticsearch的购买页面来0.00元购买。https://data.aliyun.com/product/elasticsearch通过上面链接进入到够买页面,节点必须选择“3”,购买价格才会变成0.00元(仅新用户)!...原创 2019-04-17 10:35:14 · 8162 阅读 · 10 评论