- 博客(168)
- 收藏
- 关注
RSS订阅原创 shell 脚本执行失败：[: unexpected operator
ubuntu 默认 sh 默认是软链接到 /usr/bin/dash 而不是bash。当sh 执行脚本的时候一直有这个报错，但是语法没问题，查资料发现。使用bash 执行脚本。
2024-04-29 11:05:19
68
1
原创 Datanode 启动失败
原因：部署新大数据集群时执行了多次namenode format操作，导致clusterID 变化了，而我在第一次format操作后启动了一次datanode，所以启动datanode后/data/hadoop/hdfs/datanode/current/VERSION 里记录了第一次的clusterID，第二次format后clusterID发生了变化，导致datanode启动不了，
2024-04-23 11:46:15
105
原创 Go 方法
方法其实就是一个函数，在func这个关键字和方法名中间加入了一个特殊的接收器类型，接收器可以是结构体类型或者是非结构体类型，接收器是可以在方法的内部访问的。上面的代码片段创建了一个接收器类型为Type的方法 methodName。
2024-03-19 16:06:41
837
原创 iptables v1.6.1: can‘t initialize iptables table `filter‘
理论上来说，宿主机和容器是公用内核的，iptables是基于 iptable_filter这个模块的，成功加载iptable_filter以后发现容器内就可以使用iptables了。使用lsmod查看内核有没有加载这个模块，发现的确没有加载，Linux系统：AlmaLinux 9.2。加载内核模块iptable_filter。
2023-12-13 15:14:14
1697
原创 systemd-journald日志管理服务详解
Amazonlinux2023系统默认不再安装rsyslog，因此在amazonlinux2中的诸多日志文件例如/var/log/message默认不可用。
2023-11-09 15:48:26
715
原创 Amazonlinux2023(AL2023)获取metadata
今年AWS发布了新的Amazonlinux2023版本，其中获取metadata元数据方式发生了一点改变。早些时候，在 Amazon Linux 2 中，使用以下命令获取实例元数据。在AL2023中获取实例metadata之前需要先获取一个token。然后在给aws接口发送请求的头部信息里面加入token信息。具体可以获取的元数据类别可以查阅如下aws官方文档。
2023-10-23 14:04:57
401
原创 docker 和 podman的区别
虽然 Docker 仍然是一个非常流行的容器工具，但对于一些使用场景，特别是需要更多安全性和不需要 root 权限的情况下，Podman 可能是一个更好的选择。Podman 使用独立的容器进程来管理容器，每个容器都是一个独立的进程，不需要守护进程。这可以提高安全性和隔离性，减少潜在的安全风险。- Podman：Podman 命令行工具的语法和 Docker 类似，因此 Docker 用户可以相对轻松地切换到 Podman。- Podman：Podman 不需要守护进程，每个容器都是一个独立的进程。
2023-09-06 10:15:05
3291
原创 Structure needs cleaning fsimage文件系统损坏修复
我这里是/data出现了异常，所以先将/dev/vdb这块磁盘取消挂载。以下操作可能会删除文件系统中一些异常数据，有重要数据请备份再操作。操作时不要位于要取消挂载的目录内，不然会出现以下报错。最近清除数据的时候发现有些文件无法rm。最后修复好了以后再重新将文件系统挂载好。使用文件系统修复工具修复。
2023-08-10 16:29:08
347
原创 -bash: fork: retry: Resource temporarily unavailable 问题解决
因为是使用root用户跑的任务脚本，每次跑到25000左右，线程数50000左右就会出现资源限制，所以修改ulimit，将一些可能影响资源的限制放开，设置为unlimited或者设置一个较高的上限。错误提示： -bash: fork: retry: Resource temporarily unavailable。最后再运行任务程序，发现资源限制问题没有再出现。修改完以后重启系统生效。
2023-08-04 10:42:42
6205
原创 Ubuntu20.04 /etc/sudoers 文件损坏解决
visudo是一个工具，用于编辑sudoers文件，它会对文件进行语法校验，以避免配置错误导致系统安全问题。操作：对/etc/sudoers 添加了免密码配置，结果ubuntu里默认sudoers文件只读，修改以后sudo命令也用不了了，想将配置重新修改回去也失败，因为sudoers文件配置错误，sudo命令用不了。命令后，系统将会提示您输入当前用户的密码进行验证，之后将以root权限打开sudoers文件供您进行编辑。将配置文件修改正确之后，ctrl + o 保存 ctrl +x 退出。
2023-07-14 17:58:14
899
原创 VirtualBox 部署 KVM 虚拟化
KVM（Kernel-based Virtual Machine）是一种开源的虚拟化技术，它是Linux内核的一部分。KVM通过将Linux内核转换为Hypervisor，允许在同一物理主机上运行多个虚拟机实例，每个实例可以独享一部分系统资源。KVM的工作原理是将Linux内核扩展为虚拟化管理程序，它直接在硬件上运行，并提供了虚拟化所需的核心功能。KVM利用CPU的虚拟化扩展（如Intel的VT-x和AMD的AMD-V）来创建和管理虚拟机。
2023-06-29 14:28:18
1909
原创 使用记事本编写第一个GO程序
当标识符（包括常量、变量、类型、函数名、结构字段等等）以一个大写字母开头，如：Group1，那么使用这种形式的标识符的对象就可以被外部包的代码所使用（客户端程序需要先导入这个包），这被称为导出（像面向对象语言中的 public）；下一行/* */ 是注释，在程序执行时将被忽略，单行注释是最常见的注释形式，你可以在任何地方使用以//开头的单行注释，多行注释也叫块注释，均以/* 开头，并以*/结尾，且不可以嵌套使用，多行注释一般用于包的文档描述或注释成块的代码片段。
2023-06-26 18:27:40
302
原创 Hbase基本操作
Hbase创建表的时候不需要创建所有列簇，对于空（null）的列，并不占用存储空间，因此表可以设计的非常稀疏。命令格式：put '表名'，‘行键','列簇名','列名','值',[时间戳]命令格式1：create ‘表名’,‘列簇名1’,‘列簇名2’…获取指定行，指定行中的列簇，列的信息。
2023-04-18 14:01:19
1135
1
原创 Kafka + Canal + MySQL 集群部署
canal产生的背景：早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。canal 翻译为水道，管道，沟渠，是由java语言开发的，它的定位就是基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持mysql/mariadb。
2023-04-04 17:58:58
1943
原创 Hadoop - YARN
Hadoop能有今天的地位，YARN功不可没，因为有了YARN，更多计算框架可以接入到HDFS中，而不单单是MapReduce，正是因为YARN的包容，使得其他计算框架能专注于计算性能的提升。可以把Hadoop YARN理解为相当于一个分布式的操作系统平台，而MapReduce等计算程序则相当于运行于操作系统之上的应用程序，YARN为这些程序提供运算所需的资源（内存，CPU等）。第二个阶段是由ApplicationMaster根据本次程序内部具体情况，为它申请资源，并监控它的整个运行过程，直到运行完成。
2023-03-29 14:17:19
1036
原创 Hadoop - HDFS文件系统
文件系统是一种存储和组织数据的方法，实现了数据的存储，分离组织，访问和获取等操作，使得用户对文件访问和查找变得容易。文件系统使用树形目录的抽象逻辑概念代替了硬盘等物理设备使用数据块的概念，用户不必关心数据底层存在硬盘哪里，只需要记住这个文件的所属目录和文件名即可。文件系统通常使用硬盘和光盘这样的存储设备，并维护文件在设备中的物理位置。所谓传统常见的文件系统更多指的的单机的文件系统，也就是底层不会横跨多台机器实现。比如windows操作系统上的文件系统、Linux上的文件系统、FTP文件系统等等。
2023-03-29 14:06:09
1516
原创 Linux - buff和cache的区别
cache缓存区与buff缓冲区的方向相反， 内存写入数据的速度是很快的，但是硬盘往外面吐数据的数据相对来说还是比较慢的，如果内存一直等着硬盘将程序的数据读出来，那么程序就会一直处于等待状态，程序就会处于很卡的状态，影响程序的执行效率，cache缓存就是为了解决这个问题的，将经常需要从硬盘中读出的数据提前将它放到cache缓存区里面，然后内存需要数据的时候直接从cache缓存区获取数据，这样就能降低内存载入数据的时间，从而提高程序的执行效率。
2023-03-08 11:09:56
492
原创 Linux文件系统
目录 1、常见的linux文件系统 2、文件系统的组成inode的内容： 可以用stat命令，查看某个文件的inode信息inode的大小 inode号码使用 ls -i来查看文件的inode号码使用 df -i命令，查看每个硬盘分区的inode总数和已经使用的数量，可以使用df命令。 系统打开一个文件的整个过程目录文件block块block调大 显示磁盘状态信息：CentOS6用： dumpe2fs 分区名 ，CentOS7用xfs_info 分区名磁盘分区工具与挂载1、磁盘常识2、磁盘两种分区表：MB
2023-03-07 18:08:43
4264
原创 netstat命令详解
netstat - Print network connections, routing tables, interface statistics, masquerade connections, and multicast memberships
2023-03-02 12:06:14
2217
原创 服务器TIME_WAIT状态过多如何解决？
最近部署了一台zabbix-server和zabbix-agent，在查看tcp连接的时候显示time_wait巨多
2023-02-27 14:39:41
2322
原创 zabbix4.0-自定义脚本钉钉告警
群组里面添加一个自定义机器人会有一个webhook地址，这个地址要记住安全设置暂时选择自定义关键词，定义一个关键词zabbix ，即我发送给钉钉告警文本里面必须要有zabbix这个关键词。
2023-02-27 12:12:55
687
原创 zabbix4.0-动作-邮件告警
发送邮件告警一共三步1、修改默认发件email的地址，修改为自己的发件邮箱2、创建一个动作来匹配警示度动作警示度匹配到了以后就会进行操作，发送信息给用户组，通过邮件的方式。
2023-02-25 17:37:20
1261
原创 zabbix4.0 Web页面配置 - 聚合图形的实现
主机的逻辑组；可能包含主机和模板。一个主机组里的主机和模板之间并没有任何直接的关联。通常在给不同用户组的主机分配权限时候使用主机组。
2023-02-25 11:37:03
782
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人