bug
小宇0926
简单的技术爱好者
展开
-
Spark读取ES报错EsHadoopInvalidRequest The number of slices [1632] is too large
较大的切片数可能会增加搜索操作的负载和资源消耗。是 Elasticsearch 中的一个设置,用于控制每次滚动搜索操作的切片数。指定数量为 2048,这种方式只需要修改读取索引的设置即可,不用重启服务,并且读取完毕之后可以将该参数值改回默认的 1024。当执行滚动搜索时,Elasticsearch 将结果切分为多个切片(slices),每个切片处理一部分数据。最近需要将ES指定索引中的数据使用Spark读取,进行简单处理后写入HBase,使用了如下依赖。设置决定了每次滚动搜索操作中可以使用的最大切片数。原创 2023-07-11 18:17:26 · 267 阅读 · 0 评论 -
HBase部署踩坑
1.HMaster自动挂掉版本如下HBase2.0.6Hadoop3.1.1HBase启动后不久,HMaster进程自动挂掉,查看HBase的日志发现如下问题cat /opt/hbase-2.0.6/logs/hbase-root-master-node-1.log Hbase需要底层文件系统支持hsync功能,但是底层文件系统不支持hsync功能。之前Hadoop2.x就没有这样的问题,可能是Hadoop的版本过高导致的问题,修改hbase-site.xml文件配置,即可解决。vi原创 2021-02-01 21:32:46 · 202 阅读 · 0 评论 -
Spark被端口占用 Address already in use: bind: Service ‘SparkUI‘ failed after 16 retries
环境如下win10IDEA2020.3spark2.4.4在Windows上调试Spark程序时出现如下错误:Spark程序在运行的时候会提供一个名为SparkUI的web子程序来显示Spark程序执行状态,启动Web程序就需要监听一个端口,默认为4040,这个好像是端口被占用了,spark就会依次重试16,将端口号依次加1,如果重试16次之后依然被占用,就会抛出异常。解决方法需要配置端口被占用之后的重试次数,代码如下spark.port.maxRetries=100val spar原创 2021-01-09 22:20:53 · 2085 阅读 · 0 评论