![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
走在云上的天韵
这个作者很懒,什么都没留下…
展开
-
Hive的优化
原创 2021-05-19 23:01:01 · 63 阅读 · 0 评论 -
ElasticSearch中查询后只显示10个结果的问题
在kibana里的查询语句GET /movie_2021-03-11/_search得到的结果是:{ "took" : 2, "timed_out" : false, "_shards" : { "total" : 3, "successful" : 3, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : 50, "max_score" : 1.0, "hits" : [原创 2021-03-11 15:45:08 · 7741 阅读 · 2 评论 -
Kibana常用命令
Kibana常用命令#查看集群的健康情况GET /_cat/health?v#查看节点的情况GET /_cat/nodes?v#查询各个索引状态GET /_cat/indices?v#创建索引PUT /movie_index#查看某一个索引的分片情况GET /_cat/shards/movie_index?v#删除索引DELETE /movie_index#创建文档PUT /movie_index/movie/1{ "id":100, "name":"opera原创 2021-02-27 19:26:13 · 2559 阅读 · 0 评论 -
ES报错java.lang.NullPointerException] with root cause
ES报错java.lang.NullPointerException] with root cause在做ES高亮片段时报错java.lang.NullPointerException] with root cause。需要判断是不是为空,不然匹配的第一个结果没有高亮内容,那么就会报空指针异常。 //获取高亮字段 Map<String, HighlightF...原创 2020-03-19 17:49:06 · 2238 阅读 · 0 评论 -
java.net.SocketException: Connection reset,hiveserver2连接失败
java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2java.sql.SQLException: Could not open client transport with JDBC Uri: jdbc:hive2://39.1160.10.11:10000/default: java.ne...原创 2020-03-05 20:49:29 · 2353 阅读 · 0 评论 -
hiveserver2配置及介绍
hive-site.xml文件中的配置属性hive.server2.thrift.min.worker.threads - 工作线程的最小数量,默认为5。hive.server2.thrift.max.worker.threads - 最大工作线程数,默认值为500。hive.server2.thrift.port - 侦听的TCP端口号,默认为10000。hive.server2.thr...原创 2020-03-05 20:45:05 · 2297 阅读 · 0 评论 -
Invalid dfs.datanode.data.dir /data/a:EPERM:Operation not permitted
Invalid dfs.datanode.data.dir /data/a:EPERM:Operation not permitted报错信息org.apache.hadoop.hdfs.server.datanode.DataNode:Invalid dfs.datanode.data.dir /data/a:EPERM:Operation not permitted/data/a路径,h...原创 2020-02-18 17:54:28 · 860 阅读 · 0 评论 -
Input/output error
du:cannot access ‘/data/a…’:Input/output error当hdfs的日志,报错为 du:cannot access ‘/data/a…’:Input/output error。可能是/data/a磁盘损坏。修复好磁盘即可。原创 2020-02-18 17:43:52 · 4141 阅读 · 0 评论 -
Most of the disks failed
Most of the disks failedERROR org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService:Most of the disks failed:1/1 localdirs are bad报这个错,可能是服务器的根目录或者其他目录满了,清理一下,重启nodemanager...原创 2019-12-29 22:28:15 · 883 阅读 · 0 评论 -
简述数据倾斜,如何发生的,及其优化方案
1.数据倾斜指的是数据分布是不均匀的,导致有的任务执行的快有的任务执行的慢,比如,总共有10000个task,9997个task都在3分钟之内执行完成,但是剩余三个task却要在一两个小时才能执行完或者无法执行完。Hadoop和Spark的任务监控都能看到每个Task的执行时间,当观察到上述现象时就可以确定发生了数据倾斜。产生这种现象的本质是个别task处理的数据量远多于其他task,因为每个ta...原创 2019-07-19 10:58:52 · 1081 阅读 · 0 评论