WBW_WBW-CSDN博客

原创 ceph osd down修复

一、查看osd状态找到down状态的osd 二、删除对应osd 1、调整osd 的crush weight 2、停止osd进程 3、将节点状态标记为out 4、从crush中移除节点 5、删除节点 6、删除节点认证三、准备并激活osd 1、格式化准备存放数据的磁盘 2、挂载指定磁盘 3、准备osd 4、激活osd 具体ID、FSID可通过/var/lib/ceph/osd/ceph-18路径下的whoami、fsid查看。激活之后查看若仍为down状态通过以下命令查看对应osd状态，之后重启再观察...

2022-06-17 17:43:30 4443

原创 Maven server structure problem

多次出现从git拉去项目之后加载maven出现报红，简直不堪其扰，特此记录其中遇到的一次maven报红问题问题： pom文件中多个jar包下不下来 pom中plugin 部分报红 maven的dependencies报红原因：使用maven换源的方式之后发现可以下载大部分jar，分析可能情况是之前项目的开发人员使用的maven源不同，导致同一个源不能完整下载出所有的jar 解决：来回切换maven源，分批下载jar，最后依然下载不下来的jar手动从对应的maven仓库下载到对应位置（有一部分ja

2021-12-01 11:19:11 10118 1

原创 Elasticsearch启动问题：max number of threads [XXX] for user [XX] is too low, increase to at least [4096]

网上搜了一堆解决方案终于在某一篇博客的回复里找到了能解决的办法大多数博客中的解决办法都是设置/etc/security/limits.conf 经过的我的亲身试验后发现此种方法对我并不适用，修改之后最大线程数还是没有改变。然后在另一篇博客中找到需要修改配置文件/etc/security/limits.d/20-nproc.conf 主要是在里面追加一条 * hard nproc 4096 然后重启服务器最终实现修改。 ...

2021-11-10 15:43:50 3502

原创 Java：程序包***不存在

程序包 ***不存在在idea中使用maven打包时，文件存在两个目录下，会出现打包失败，提示：Java：程序包test不存在打包时报错：使用到test包的代码段原因：怀疑是打包时存在编译过程，编译过后的.class文件路径出现偏差，导致找不到test 解决：idea手动打包，不使用maven打包。手动打包流程： File->Project Structure->Artifacts-> + ->JAR->From modules with dependencie

2021-09-14 16:58:55 753

原创书写脚本命令时，提示“未找到命令”

书写脚本命令时，提示“未找到命令” 报错：脚本内容：出错说明：长命令换行符 \ 跟注释符号 # 冲突破坏了换行语法解决：长命令不换行写成一行。（避免换行符跟注释符相遇）

2021-09-14 10:29:54 679

原创 linux执行spark-shell卡住

linux系统中执行spark-shell卡住执行操作： spark-shell 现象：长时间卡住不动原因：解决办法：

2021-09-09 14:52:32 1130

原创 Storm开发案例 Java版

IDEA中maven工程实现Storm开发 1、创建maven工程后添加Storm依赖 > <dependencies> > <dependency> > <groupId>org.apache.storm</groupId> > <artifactId>storm-core</artifactId> > <version>2.2.0&l

2021-09-08 15:34:22 343

原创 Scala控制日志输出级别

Scala控制日志输出级别 main方法前加入语句 Logger.getLogger("org").setLevel(Level.ERROR)

2021-09-06 11:32:39 793

原创 idea运行spark streaming报Exception in thread “main“ java.lang.NoSuchMethodError异常

idea运行spark streaming报Exception in thread “main” java.lang.NoSuchMethodError异常报错如下报错原因： scala版本与spark版本不符解决办法修改spark Streaming对应依赖的版本

2021-09-03 15:40:52 409

原创 idea中执行spark streaming程序报Exception in thread “main“ java.lang.NoClassDefFoundError异常

idea中执行spark streaming程序报Exception in thread “main” java.lang.NoClassDefFoundError异常在idea执行sparkStreaming程序时报以下异常造成原因： idea工程里子工程的pom文件中引入Spark core和Spark Streaming两个依赖造成解决方法：去除Spark core 依赖 ...

2021-09-03 15:38:39 589

原创 Scala环境搭建

Scala环境搭建一、下载对应jdk 官网下载jdk1.8或者jdk11 https://www.oracle.com/java/technologies/javase-downloads.html 官网下载对应的scala压缩包（我这里选择的是scala-2.12.14.zip） https://scala-lang.org/ 下载完的jdk和解压scala.zip后的文件配置系统环境变量（具体可搜索其他博客）下载常用的Java开发工具IntelliJ IDEA 打开i

2021-08-03 11:38:38 264

原创本地安装jdk

本地安装jdk 下载Java1.8地址： https://www.oracle.com/java/technologies/javase-jdk16-downloads.html 根据需要选择相应的版本。 2、开始安装按照提示完成安装（建议修改安装路径） 3、安装成功，开始环境变量配置新建用户变量：JAVA_HOME 刚刚安装的路径新增系统变量CLASSPATH .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar 注

2021-06-03 22:44:29 508

WBW_WBW的博客