es
大数据小蜗牛
大家好,我是大数据小蜗牛,博主会不定期在博客上更新在大数据开发的过程中遇到的问题以及解决方案,大家喜欢的话点击关注哦!!!
展开
-
关于spark跟es的版本兼容问题
刚开始用spark1.6跟es6.5.4结合,发现版本不兼容,经本人测试以及查询资料,es5之前支持spark1.x,es5之后支持spark2.x原创 2019-01-10 18:23:46 · 1721 阅读 · 0 评论 -
es中的相关知识一(基本知识和id的定义)
一、es中文档的元数据包括:1、_index: 索引(index)类似于关系型数据库里的数据库(database),事实上,我们的数据被存储和索引在分片(shards)中,索引知识把一个或多个分片分组在一起的逻辑空间,索引名字必须全部小写,不能以下划线开头,不能包含逗号。2、_type: 类型(type)类似于关系型数据库中的table,在es中我们用type表示...原创 2019-01-07 16:08:54 · 7877 阅读 · 1 评论 -
es的相关知识二(检索文档)
一、es的使用1、检索文档:想要从Elasticsearch中获取文档,我们使用同样的 _index 、 _type 、 _id ,但是HTTP方法改为 GET :GET /{index}/{type}/{id}?pretty这里pretty的作用:在任意的查询字符串中增加 pretty 参数,类似于上面的例子。会让Elasticsearch美化输出(pretty-pr...原创 2019-01-07 16:28:13 · 471 阅读 · 0 评论 -
es的相关知识三(检查文档是否存在以及更新整个文档以及局部更新)
一、检索文档是否存在如果你想做的只是检查文档是否存在——你对内容完全不感兴趣——使用 HEAD 方法来代替 GET 。 HEAD 请求不会返回响应体,只有HTTP头:curl -i -XHEAD http://localhost:9200/{index}/{type}/{id}Elasticsearch将会返回 200 OK 状态如果你的文档存在:HTTP/1.1 2...原创 2019-01-07 16:42:52 · 1799 阅读 · 0 评论 -
关于hive与es整合遇到的问题
1、Error while compiling statement: FAILED: SemanticException Generate Map Join Task Error: Unable to find class: org.elasticsearch.hadoop.hive.EsHiveInputFormat Serialization trace: inputFileFormatC...原创 2019-01-26 17:41:55 · 2073 阅读 · 0 评论 -
关于es的缓存
本人在使用es查询的时候第一次用时46ms,连续第二次仅用了4ms,不由得想起了缓存,经查询资料得知:es有三种缓存:分别是query,fielddata和request 1、query cache 也称filter cache,作用是对一个查询中包含的过滤器执行结果进行缓存,满足了term, range过滤器的clause会被缓存(5.1.1版本term被...原创 2019-02-28 18:13:25 · 5400 阅读 · 0 评论 -
spark2.2 批量往es7.1.1中插入数据的时候问题
报的错为:Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, org.elasticsearch.spark.deploy.yarn.security.EsServiceCredentialProvider.credentialsRequir...原创 2019-09-05 18:22:02 · 1318 阅读 · 0 评论