- 博客(1)
- 收藏
- 关注
原创 ElasticSearch数据请求自动分发网关
Elasticsearch在进行数据装载时遇见的问题及解决方案 1.业务场景及基本技术方案 在伯智客户画像项目上,需要用到ES进行客户标签筛选查询。标签源数据存储在hive中,项目初期大约有1.35亿客户、900多个标签。 数据量大,使用Java编写sql读取hive数据导入ES或者采用ES-Hadoop 建立映射表导入ES效率都过于低下, 故选择MapReduce直接读取hive存储在hdfs上的源文件,批量导入ES。系统逻辑关系如下图 2.导入过程中遇到的问题 1.初期投产经过ES参数、JVM调优之
2021-08-25 17:40:17 289
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人