shitou_12的博客

zsh编译安装

整体方案 fsimage⽂件是hadoop⽂件系统元数据的⼀个永久性的检查点，其中包含hadoop⽂件系统中的所有⽬录和⽂件idnode的序列化 信息；⽂件在hdfs主节点上⾃动更新 利⽤HDFS oiv命令可以解析fsimage⽂件，解析后的⽂件放⼊ELK中即可进⾏集群元数据的详细分析。 本⽅案的主要过程： 1、通过hdfs oiv命令将最新的fsimage⽂件解析为csv格式的⽂件 2、将csv⽂件通过filebeat导⼊elk中 3、分析导⼊的csv⽂件 4、根据分析结果联系⽤⼾检查数据是否可以删除

背景 近期有台hadoop机器网络异常，上面部署了zk和journalnode服务比较重要 处理过程 1、初步检查 初期和集群内部分节点可以ping通，部分节点ping不通； 联系网络组检查，没有发现什么问题 使用单口测试，发现使用其中一个网卡时，和集群内其他节点完全ping不通，使用另一个网卡时问题复现 2、换网卡 网络组怀疑机器网卡有问题，换过网卡后问题依旧，初步判断交换机端口可能有问题； 3、换交换机端口 昨天使用单线连另一个网口时可以正常ping通；今天准备两根线都接到新的端口上（不同交换机） 4、

其他5个常用命令 接上一节 【shell学习|004】 linux上除了ls意外，还有几个其他的基础命令；这里做个简要介绍下 如果感兴趣，可以man 各个命令，然后试验下各个参数的返回结果； 下面进入介绍环节： 1、cat： Displays a Text File 显示文本文件 cat 实用程序显示文本文件的内容。命令的名称是派生的来自 单词catenate，意思是一个接一个地连接在一起。 在屏幕上显示文件内容的一种方便的方法是给出命令 cat，后跟一个空格和文件名。 下面的例子展示了ls和cat之间的

常用命令 接上一节 【shell学习|003】- 查找文档 Linux 的优势之一是它带有数千个可执行无数功能的实用程序。 无论何时使用 Linux，您都将使用实用程序，无论您是从命令行直接按名称使用它们，还是从菜单或图标间接使用它们。 以下部分讨论了一些最基本和最重要的实用程序；这些命令个人认为是最最常用且必须掌握的 特殊字符 shell中有一些特殊字符，这些字符对shell来说有特殊含义，日常工作中尽量避免在文件中使用到这些特殊字符，这些字符的具体特殊点在本系列后续文章中会逐步介绍，现在先记住即可： &

查找文档 接上一节【shell学习|002】- 认识命令行终端 Linux 发行版通常不附带纸质的参考手册或者光盘。然而，它的在线文档一直是 Linux 的优势之一。 从操作系统的早期版本开始，就可以通过 man 和 info 实用程序访问 man（或手册）和 info 页面。 本节讨论了一些您可以在 Linux 上查找帮助信息的地方。 part1、获取帮助的基本方法 1、man命令：查看系统的man手册 下图是man man的结果： 具体可以参考这篇文章：man手册 2、apropos：搜索关键字 man

认识命令行终端 接上一节【shell学习|001】 我们从xhsell登录后的界面就是命令行终端了；和windows有很大不同，需要一段时间熟悉 1、命令行的优点 灵活性 在某些情况下，管理员可能会使用命令行工具，因为不存在等效的图形工具，或者因为图形工具不如文本工具强大或灵活。例如，chmod比它的 GUI 版本更强大和更灵活。 资源消耗 通常，在服务器系统上，甚至可能不会安装图形界面。这个省略的第一个原因是 GUI 消耗了大量的系统资源；在服务器上，这些资源更好地专用于服务器的主要任务。 安全方面 此外

Linux学习系列1-学习环境搭建 1、下载镜像（根据自己喜好选择，推荐centos，这里选择centos7.7的版本）： https://mirrors.tuna.tsinghua.edu.cn/centos/7.7.1908/isos/x86_64/CentOS-7-x86_64-Everything-1908.iso 2、安装vmware workstation，双击打开（具体方式可以百度搜索，这里使用的是15.5版本） 点击创建虚拟机，选择自定义，点击下一步： 点击下一步 选择稍后安装操作系统

1、从终端登录 安装xhsell，在xshell中输入 ssh username@ip 回车；在提示框中输入密码 具体过程可以参考这篇文章：学习环境搭建 登录之后我们可以看到一些提示信息： Last failed login: Fri Jun 11 17:15:01 CST 2021 from 10.3.123.90 on ssh:notty There was 1 failed login attempt since the last successful login. Last login: Fri

Linux 简介 Linux 内核最初只是由芬兰人林纳斯·托瓦兹（Linus Torvalds）在赫尔辛基大学上学时出于个人爱好而编写的。 Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基于 POSIX 和 UNIX 的多用户、多任务、支持多线程和多 CPU 的操作系统。 Linux 能运行主要的 UNIX 工具软件、应用程序和网络协议。它支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。 Linux内核地址： T

手册页和其他在线文档 即使在 Google 时代，我们仍继续参考手册页作为权威资源，因为它们可以从命令行访问，通常包括程序选项的完整详细信息，并显示有用的示例和相关命令。 手册页是对单个命令、驱动程序、文件格式或库例程的简明描述。 它们不涉及更一般的主题，例如“如何安装新设备？”或者“为什么这个系统这么慢？” man page的组织形式 FreeBSD 和 Linux 将手册页分成几个部分。 其他 UNIX 变体有时对部分的定义略有不同。 man命令：读取man手册内容 man title 格式化特定的手

unix and linux system administration handbook | 读书笔记 Linux发行版 Linux 发行版包含 Linux 内核，它是操作系统的核心系统，以及组成您可以在系统上运行的所有命令的包。 所有发行版共享相同的内核沿袭，但格式、类型和编号的包差别很大。发行版的重点、支持和人气。 仍然有数百个独立的 Linux 发行版，但是 我们的感觉是，源自 Debian 和 Red Hat 谱系的发行版将 未来几年在生产环境中占主导地位。 总的来说，Linux 发行版之间的差异

unix and linux system administration handbook | 读书笔记 系统管理员职责（运维职责） 1、控制访问（用户管理） 系统管理员为新用户创建帐户，删除非活动用户的帐户，并处理中间出现的所有与帐户相关的问题（例如，忘记密码和丢失密钥对）。 实际添加和删除帐户的过程通常由配置管理系统或集中式目录服务自动执行。如ldap 2、添加硬件（硬件资源升级等） 使用物理硬件（而不是云或托管系统）的管理员必须安装它并将其配置为被操作系统识别。 硬件支持杂务可能从添加网络接口卡的简单

问题背景 最近在尝试将hadoop中文件信息导入ELK，并分析冷数据；部分效果图如下 但是近期发现crontab脚本同步最新的fsimage时正常，但是无法正常转换成csv格式 初期以为是生成的文件已存在导致，后续将生成文件按时间戳明明后依然无法生成 今天刚好有时间准备分析一下 问题分析过程 整个cronta脚本如下： FsImage=`ssh 172.20.xx.xx "ls -art /disk1/hadoop/dfs/hadoop-nn1/current/fsimage* |grep -v md5|

问题描述 早上收到用户反馈，申请在离线源里加上mkcramfs和libxml-dev两个包 感觉比较奇怪，询问用户后，用户给出问题截图： 问题分析 首先第一步拿到用户节点信息和登录方式已经截图中的命令所在路径 登录上去之后复现用户问题，发现的确报错；尝试如下方式： 1、apt-get install mkcramfs 报错，提示没有这个包 2、apt-get install libxml2-dev 依然报错，感觉比较奇怪，怀疑源有问题 3、检查用户机器的源配置 发现没有/etc/apt/source.