![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bug
小宇0926
简单的技术爱好者
展开
-
Spark读取ES报错EsHadoopInvalidRequest The number of slices [1632] is too large
较大的切片数可能会增加搜索操作的负载和资源消耗。是 Elasticsearch 中的一个设置,用于控制每次滚动搜索操作的切片数。指定数量为 2048,这种方式只需要修改读取索引的设置即可,不用重启服务,并且读取完毕之后可以将该参数值改回默认的 1024。当执行滚动搜索时,Elasticsearch 将结果切分为多个切片(slices),每个切片处理一部分数据。最近需要将ES指定索引中的数据使用Spark读取,进行简单处理后写入HBase,使用了如下依赖。设置决定了每次滚动搜索操作中可以使用的最大切片数。原创 2023-07-11 18:17:26 · 234 阅读 · 0 评论 -
HBase部署踩坑
1.HMaster自动挂掉 版本如下 HBase2.0.6 Hadoop3.1.1 HBase启动后不久,HMaster进程自动挂掉,查看HBase的日志发现如下问题 cat /opt/hbase-2.0.6/logs/hbase-root-master-node-1.log Hbase需要底层文件系统支持hsync功能,但是底层文件系统不支持hsync功能。之前Hadoop2.x就没有这样的问题,可能是Hadoop的版本过高导致的问题,修改hbase-site.xml文件配置,即可解决。 vi原创 2021-02-01 21:32:46 · 186 阅读 · 0 评论 -
Spark被端口占用 Address already in use: bind: Service ‘SparkUI‘ failed after 16 retries
环境如下 win10 IDEA2020.3 spark2.4.4 在Windows上调试Spark程序时出现如下错误: Spark程序在运行的时候会提供一个名为SparkUI的web子程序来显示Spark程序执行状态,启动Web程序就需要监听一个端口,默认为4040,这个好像是端口被占用了,spark就会依次重试16,将端口号依次加1,如果重试16次之后依然被占用,就会抛出异常。 解决方法 需要配置端口被占用之后的重试次数,代码如下 spark.port.maxRetries=100 val spar原创 2021-01-09 22:20:53 · 2048 阅读 · 0 评论