六、海量hive数据写入es优化

场景:

业务部门将客户画像结果表通过hive映射到es表，其中结果表600W条数据，但每条数据接近2W个标签，数据入到es后主要场景是多字段组合过滤查询后聚合求和。

优化思路

es默认最大字段数是1000,需要增大字段数
hive端优化： hive的取数据的速度大于写入到es的速度，es会由于集群规模问题或者资源问题无法同时接收hive过多的并发数。 由此hive端主要优化是减小map数

• set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat 将多个小文件打包作为一个整体的inputsplit，减少map任务数
• set mapred.max.split.size=256000000;
  set mapred.min.split.size.per.node=256000000
  set Mapred.min.split.size.per.rack=256000000
  增大map输入split的大小

es端优化：主要分为索引设计层面和数据写入层面
#创建es索引 curl -u ${ESUser}:${ESPasswd} -X PUT -H "Content-Type: application/json" "http://${ESIP}:${ESPort}/${ESIndex}/" -d '{"settings":{"number_of_shards":10,"number_of_replicas": 0},"mappings":{'"cmfe_