![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
运维
文章平均质量分 74
goTsHgo
这个作者很懒,什么都没留下…
展开
-
CentOS过滤问题——唯一确定需要过滤进程号的方式
前言本文介绍了为什么可以通过 ps -ef 配置文件名 的方式来过滤出 配置文件对应的进程一、ps命令介绍 ps命令是Process Status的缩写,用于查看系统进程的状态,ps命令输出值非常多,通常会结合管道符 和grep 使用。二、使用步骤1.我们直接输入ps命令,不加任何参数。代码如下(ps示例):可以看到默认输出4列信息PID: 运行着的命令(CMD)的进程编号TTY: 命令所运行的位置(终端)TIME: 运行着的该命令所占用的...原创 2021-10-17 22:41:25 · 1181 阅读 · 0 评论 -
在操作HDFS进行文件的上传和下载时报错:Class not found: “com.lyyyktshcs.hdfs.HdfsClient“
项目场景:提示:在操作HDFS进行文件的上传和下载时报错:Class not found: "com.atguigu.hdfs.HdfsClient"问题描述:提示:在操作HDFS进行文件的上传和下载时报错>>Class not found: "com.test.hdfs.HdfsClient"原因分析:提示:项目走的maven的junit,多模块下,maven默认没有加载这个类;尝试右键maven ->t...原创 2021-09-08 10:15:57 · 294 阅读 · 0 评论 -
CentOS中的date命令详解
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言CentOS中的date命令 一、查看系统时间 二、设置指定的时间 三、按照格式查看时间前言date 命令:Display the current time in the given FORMAT, or set the system date.用法:date [选项]... [+格式] 或:date [-u|--utc|--universal...原创 2021-09-07 21:19:32 · 2073 阅读 · 0 评论 -
Hadoop启动NameNode报错ERROR: Cannot set priority of namenode process 2639
项目场景:Hadoop启动NameNode报错::ERROR: Cannot set priority of namenode process问题描述:Hadoop启动NameNode报错ERROR: Cannot set priority of namenode process2639[atguigu@localhost333logs]$ tail -100 hadoop-localhost -namenode-hadoop333.log...原创 2021-09-17 18:23:18 · 17817 阅读 · 1 评论 -
Maven工程下java:org.apache.hadoop.conf 等Hadoop包不存在的问题
问题分析:肯定是因为Maven工程中缺少了以来的Jar包,但是点击了Maven中的test 仍然没有解决问题,因此,需要手工命令的方式来让maven 来下载需要的jar包。解决方案操作步骤见下图:按照图片操作之后即可解决。...原创 2021-10-13 01:29:39 · 3790 阅读 · 7 评论 -
Hive执行 报错:FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
项目场景:HiveOnSpark环境下执行hive脚本,报错。问题描述:提示:这里描述项目中遇到的问题:例如:数据传输过程中数据不时出现丢失的情况,偶尔会丢失一部分数据APP 中接收数据代码:@Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget(); } 原因分析:..原创 2021-12-08 18:35:27 · 7970 阅读 · 18 评论 -
Flink报错: java.net.BindException: Could not start rest endpoint on any port in port range 10000
项目场景:Flink算子执行报错:Caused by: java.net.BindException: Could not start rest endpoint on any port in port range 10000 at org.apache.flink.runtime.rest.RestServerEndpoint.start(RestServerEndpoint.java:234) at org.apache.flink.runtime.entrypoint.com...原创 2021-12-23 16:18:57 · 3320 阅读 · 0 评论 -
聊聊分布式的可扩展性
前言团队,总会有人离开,总会有人加入。。。总会有一个leader,当服务器的数量增加的时候,业务增加的时候,总会进行相关的扩容或者缩容,那么这个团队的扩展性如何?增加了更多的事儿,leader是否能抗住?是否能分配所有的任务?是否能进行负载均衡?是否能对下属进行状态监控?在有人离职的时候,交接的任务是否很多?新来的人刚上线的时候,负载为0,大量的任务压来会不会直接把新人的IO耗尽。。。。这种团队的架构和分布式系统是一样的。分布式的扩展性说到分布式,凭什么你的扩展性就好?凭什么你就没有性能转载 2022-01-03 14:18:08 · 1070 阅读 · 0 评论 -
Docker:容器的本质是什么?容器从何而来?
本文介绍docker的原理。容器本质之进程隔离1. 容器本质容器本质上是一种进程隔离的技术。容器为进程提供了一个隔离的环境,容器内的进程无法访问容器外的进程。2. 容器及容器中的进程在主机上的呈现启动一个ubuntu的容器:docker run -it ubuntu在主机上可以看到启动了三个进程:第一个是刚刚执行的命令第二个是启动的容器,容器在系统上就是一个进程第三个是在该容器父进程下的一个子进程:/bin/bash在容器中运行top命令生成.....转载 2022-06-21 15:44:35 · 615 阅读 · 0 评论 -
Tomcat 运行报错-java.lang.IllegalArgumentException: servlet映射中的<url pattern>[mySerlvet.do]无效
25-Jun-2023 14:25:08.076 信息 [main] org.apache.catalina.startup.VersionLoggerListener.log 命令行参数: -Dcatalina.base=C:\Users\LYYYKTSHCS\AppData\Local\JetBrains\IntelliJIdea2020.3\tomcat\881509a1-4ac6-4f38-8a6e-bf2f92bb0db4。原创 2023-06-25 14:51:26 · 979 阅读 · 0 评论 -
Linux中交换区Swap详解
Linux 的交换区(Swap)是一种虚拟内存空间,用于暂存未被使用的数据或将不活跃的进程移到磁盘上,以释放物理内存空间供其他进程使用。当系统物理内存不足时,Linux 会将部分内存数据交换到交换区中,以提供额外的内存空间,从而防止系统因内存不足而崩溃或变得极度缓慢。原创 2024-05-27 09:42:18 · 845 阅读 · 0 评论 -
Kubernetes (K8s) 实现按需扩容
通过 Kubernetes 和 Helm,可以轻松部署和扩展 HDFS 和 OLAP 系统。使用 HPA 可以根据负载自动扩展系统的各个组件。监控工具(如 Prometheus 和 Grafana)可以帮助您实时监控系统的性能和扩展情况。原创 2024-06-21 08:36:30 · 989 阅读 · 0 评论 -
DNS负载均衡的底层实现原理
DNS(域名系统)实现负载均衡是通过分散到不同服务器的请求来管理网络流量和优化资源使用的一种策略。下面详细介绍这种技术的实现原理、原因、以及其优缺点。原创 2024-07-11 09:35:51 · 1339 阅读 · 1 评论 -
Cron表达式
Cron表达式用于在特定时间自动执行任务,非常适合于计划备份、发送通知、自动更新等操作。了解过 crontab 的应该都知道 crontab 怎么配置定时任务,其实cron 与 crontab 差不多,但需要注意的是:cron 表达式从左往右,从秒开始;而 crontab 则是从分钟开始的。Cron表达式是一个字符串,字符串以5或6个空格隔开,分为6或7个域,每一个域代表一个含义,Cron有如下两种语法格式:秒 分 时 月中的几号 月 一周中的周几。原创 2024-07-08 16:48:45 · 577 阅读 · 0 评论