TomAndersen的博客

方法一：使用apt工具直接下载apt-get -y install liblz4-tool方法二：使用yum工具直接下载yum -y install lz4 lz4-devel方法三：编译源码https://github.com/lz4/lz4/End~

前言OS：CentOS 7本文主要演示在CentOS 7中如何修改yum软件源为国内下载源，提高yum下载速度参考博客：https://www.cnblogs.com/Dleo/p/5758350.html具体步骤1）备份原始yum配置cd /etc/yum.repos.d# 备份原始仓库配置文件mv CentOS-Base.repo CentOS-Base.repo-backup# 下载阿里云yum仓库配置文件,并保存为原始yum仓库配置文件名wget -O /etc

前言OS：CentOS 7hadoop：2.7.7lzo：lzo-2.10Apache Maven：3.6.0JDK：1.8.0_221hadoop-lzo是一个围绕lzo压缩算法实现的Maven项目，基于hadoop提供的API实现了lzo压缩算法的编解码器，以及其他的一些自定义hadoop组件，本文主要演示如何编译此Git项目，并配置到hadoop集群中，实现lzo算法在集群中的使用由于Hadoop和hadoop-lzo中目前都未集成lzo算法函数库，因此在编译hadoop-lzo项目之

前言OS：CentOS 7lzo：lzo-2.10make：4.1PS： 如果未安装make，则可以执行sudo yum -y groupinstall "Development Tools"或sudo apt-get -y install build-essential来安装Linux环境下基本开发编译工具包，其中就包含了gcc、g++、make等基本开发工具安装步骤一、下载LZO源码官网地址lzo-2.10 下载地址二、编译LZO源码1）解压源码压缩

前言OS：Ubuntu 18.04.4本文主要演示如何设置apt的软件包下载源地址。由于Ubuntu默认的apt软件包源地址在国外，下载速度太慢，所以建议更改源地址参考博客：Ubuntu更新软件源具体步骤1）备份原始apt配置文件cp /etc/apt/sources.list /etc/apt/sources.list.backup2）清空原始配置文件，添加软件包源地址echo "" > /etc/apt/sources.list例如：设置阿里镜像下载源#添加阿里源d

目录前言1. 创建分区而不进行格式化1.1 `lsblk`查看本系统内所有磁盘及其分区信息1.2 `parted`查看磁盘分区类型与分区信息1.3 根据磁盘分区表类型使用`fdisk/gdisk`工具创建分区1.4 更新Linux磁盘分区表信息1.5 删除分区2. 使用未格式化分区创建实体卷轴PV2.1 查看目前系统的PV状态2.2 使用未格式化分区创建PV2.3 再次查看文件系统的PV状态2.4...

前言当 bash 是作为交互的登录 shell 启动的，或者是一个非交互的 shell 但是指定了 --login 选项，它首先读取并执行 /etc/profile 中的命令，只要那个文件存在。 读取那个文件之后，它以如下的顺序查找 ~/.bash_profile，~/.bash_login，和 ~/.profile，从存在并且可读的第一个文件中读取并执行其中的命令。（截取自bash使用手...

前言操作系统：CentOS 7Java版本：1.8.0_221Flume版本：1.8.01. Kafka Channel使用场景配合Flume Source、Flume Sink使用，为Event的传输提供一种具有高可用的Channel配合Flume Source和拦截器interceptor使用，无Sink，用于将Flume搜集的Event传输到Kafka集群指定Topic中...

前言操作系统：CentOS 7Java版本：1.8.0_221Flume版本：1.8.01. Kafka Channel使用场景配合Flume Source、Flume Sink使用，为Event的传输提供一种具有高可用的Channel配合Flume Source和拦截器interceptor使用，无Sink，用于将Flume搜集的Event传输到Kafka集群指定Topic中...

方案1：使用tr命令Linux中的tr命令可以用于转换或删除文本中的指定字符。tr命令默认从标准输入中读取数据，经过字符串转义之后，将结果输出到标准输出。# 使用tr命令将字符串中小写字符转换成大写echo "TomAndersen" | tr a-z A-Z# TOMANDERSEN# 同理大写转小写echo "TomAndersen" | tr A-Z a-z# toman...

前言SSH工具连接服务器的身份验证方式有两种，一种是基于口令的身份验证，一种是基于密钥的身份认证。当你直接使用SSH工具连接服务器时，SSH首先会在~/.ssh/路径下按照默认的密钥（私钥）文件名（如id_rsa）查找对应的密钥并尝试使用本地的私钥去配对服务器端的公钥，如果配对成功则不需要进行密码验证（这也是通常实现SSH免密登录的原理），如果配对失败则尝试使用密码验证的方式进行身份验证。但...

前言①多行命令使用引号或者首尾定界符来囊括，当使用双引号囊括时，若其中同时也使用了双引号就需要使用转义字符对远程执行命令中的引号进行转义。所以如果远程命令本身包含双引号，建议还是使用首尾定界符，首尾定界符是一个自定义的字符串，可以自定义内容，并且命令结尾处的首尾定界符需要放置于当前行行首②如果远程执行命令中的美元符号$读取的是远程终端的变量，而非当前终端的变量就需要增加转义字符来将此...

前言本文主要是参考了鸟哥写的《鸟哥的Linux私房菜》。因为总是在各种脚本中见到:-的用法而只是了解其大概含义，所以翻阅了相关资料，编写此博文以作记录Shell中冒号在变量赋值时的各种特殊用法变量设定方式str变量没有设定时str为空字符串时str已经设定为非空字符串时var=${str-expr}var=exprvar=""var=$strvar...

前言本文主要是参考了鸟哥写的《鸟哥的Linux私房菜》。由于看到别人脚本中有相关运用，因此翻阅了相关资料，编写此博文以作记录Shell中&&与||的运行规则指令执行说明command1 && command2若command1正确执行，即退出码为0（?==0），则执行command2，整体退出码以command2执行结果为准；若com...

前言我们知道文件都有文件名与数据，这在 Linux 上被分成两个部分：用户数据 (user data) 与元数据 (metadata)。用户数据，即文件数据块 (data block)，数据块是记录文件真实内容的地方；而元数据则是文件的附加属性，如文件大小、创建时间、所有者等信息。在 Linux 中，元数据中的 inode 号（inode 是文件元数据的一部分但其并不包含文件名，ino...

Shell中四种脚本执行方式的对比测试脚本#!/bin/bash# test7:用于对比各种脚本程序执行方式的区别echo "The variable var1 is" $var1echo "The environment variable env1 is" $env1echo "The current shell PID is $$"1. 使用绝对路径执行脚本测试过程...

特殊参数变量：$#：传给Shell脚本的参数个数$0：当前Shell脚本名$1：传递给Shell脚本的第1个参数，若没有则为空$2：传递给Shell脚本的第2个参数，若没有则为空$3：传递给Shell脚本的第3个参数，后续以此类推${10}：传递给Shell脚本的第10个参数，读取的参数位置大于等于10之后需要使用花括号$@：传递给Shell脚本的所有参数组成的列表，即参数列表$...

VMware中搭建Hadoop集群（文字版）所用各工具版本：系统镜像：CentOS-7-x86_64-DVD-1810VM version：VMware Workstation Pro15Java version：jdk-8u221-linux-x64Hadoop version：hadoop-2.7.7准备步骤：下载CentOS-7镜像、下载匹配的Sun JDK包、下载匹配的...

前言NTP（Network Time Protocol，网络时间协议）是用来使计算机时间同步化的一种协议，它可以使计算机对其服务器或时钟源（如石英钟，GPS等等)做同步化，它可以提供高精准度的时间校正（LAN上与标准间差小于1毫秒，WAN上几十毫秒），且可介由加密确认的方式来防止恶毒的协议攻击。NTP的目的是在无序的Internet环境中提供精确和健壮的时间服务Linux上可以通过ntp工具...

前言crond是一个linux下的定时执行工具（相当于windows下的scheduled task），可以在无需人工干预的情况下定时地运行任务。crond工具提供crontab命令来设置定时任务，属于守护进程，只能精确到分钟，可以设定周期性执行Linux命令或者Shell脚本，每分钟crond都会检查是否有定时任务需要执行本次实验系统为CentOS 7操作步骤(1) 检查crond工...

前言systemctl 是RHEL 7的系统服务管理器指令，它融合之前 service 和 chkconfig 的功能于一体，是 service 命令和 chkconfig 命令的集合和代替。可以使用它永久性或只在当前会话中启用/禁用服务CentOS是基于 RHEL (RedHat Enterprise Linux) 的Linux发行版本之一，CentOS 7也是使用systemctl，取代...

1. 需求：机器A上已有用户a，想要实现此用户能够免密使用ssh工具登录机器B、C等2. 命令使用示例：[tomandersen@hadoop101 .ssh]$ ssh-keygen -t rsa[tomandersen@hadoop101 .ssh]$ ssh-copy-id tomandersen@hadoop1023. 具体实现步骤：1）创建.ssh文件夹进入待实...

临时显示行号进入vi或者vim编辑器的底线命令模式下，输入 :set nu 或者 :set number，按下回车就显示行号了每次启动时显示行号-使用sudo命令编辑 /etc/virc 和 /etc/vimrc 文件，在第一行插入 set nu 或者 set number 命令即可临时关闭行号进入vi或者vim编辑器的底线命令模式下，输入 :set nonu 或者 :set...

1. 核心配置文件配置文件在 /hadoop-2.7.7/etc/hadoop 路径下（1）配置core-site.xml编辑 core-site.xml 文件，在configuration中插入配置信息，具体配置如下所示：<configuration> <!-- 指定HDFS中NameNode的地址 --> <property> ...

前言最近在学习Shell脚本编程时，发现别人程序的 if-then代码块 中if的条件语句中存在 双括号(())、双中括号[[]] 的使用，因而查阅了相关资料，同时也看到了一篇不错的博文，对Shell脚本中括号的使用作出了总结，特此记录和分享1. 括号( )括号一般在命令替换时使用，与美元符号$配合使用，如#!/bin/bash# 输出今年的年份year=$(date ...

修改后[TomAndersen@localhost ~]$ ifconfig eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 192.168.126.101 netmask 255.255.255.0 broadcast 192.168.126.255 inet6 f...

修改后：[TomAndersen@localhost ~]$ ifconfig eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 ether 00:0c:29:35:00:eb txqueuelen 1000 (Ethernet) RX packets 1 bytes 243 ...