elasticsearch
风翔
继续战斗,勇往无前
展开
-
spark离线批处理写入kafka调优
采用老版本spark(1.6)在离线批处理环境下,将DataFrame快速写入kafka,通常可以查到的大部分都是针对Spark-Streaming进行Kafka写入的说明,但是在离线批处理环境下,也希望将批量计算的DataFrame中的数据直接写入到某个topic中,在spark2.0以上,可以直接采用spark-streaming的写入方式,只要用read 代替 resdStream 和用 write代替 writeStream 即可。例如,引入以下同步kafka的包<dependency原创 2020-09-10 12:03:29 · 3184 阅读 · 1 评论 -
解决VScode 中用restful向ES中批量写入数据时,提示 “The bulk request must be terminated by a newline [\n]“
通常用的head都是:@head =content-type: application/json应用bulk进行写入时,要替换成:@head_bulk =Content-Type: application/x-ndjson例如:PUT http://49.235.228.196:9211/news/_bulk{{head_bulk}}{"index":{"_index":"news"}}{"author":"John Michael","published":"2018-07-08","tit原创 2020-07-15 10:39:34 · 2324 阅读 · 0 评论 -
ES6.1.2 +LTR 常用DSL
ES6.1.2 +LTR 常用DSLhttps://elasticsearch-learning-to-rank.readthedocs.io/LTR插件中用的DSL是老的版本,新版本很多内容都改变了,新版本特征集构建部分应改为以下形式,在es6.1.2上测试成功。function 返回某一列GET tmdb/movie/_search{ &amp;quot;query&amp;quot;: { &amp;quot;functi...原创 2018-10-09 11:27:49 · 1799 阅读 · 1 评论 -
LTRChain多模型查询
LTRChain多模型查询文档中的原文:Chaining multiple rescores, perhaps with increasingly sophisticated models可以进行多个模型的联合查询#利用多模型查询POST tmdb/_search{ "query": { "query_string": { "query": "rambo" ...原创 2018-10-09 14:01:35 · 201 阅读 · 0 评论 -
LTR 插件使用笔记
LTR 插件使用1、初始化默认的特征仓库一个特征仓库就是一个es的索引,可以存储特征和模型的元数据。默认的特征仓库,就是 PUT _ltr DELETE _ltr2、特征和特征集合...原创 2019-03-27 22:15:31 · 1298 阅读 · 0 评论 -
用ZK UI解决storm 读取Kafka时的Fetch offset *** is out of range for topic , resetting offset
可以用ZK UI 读取ToPology信息,然后更新offset值,如果为Null,可建一个假的,但是要保证kafka里有这个offset的数据。然后重启topology即可。原创 2019-07-31 18:45:54 · 4382 阅读 · 0 评论