helloxiaozhe的博客

1、shell脚本中用hive -e执行sql出现「cannot recognize input near ‘＜EOF＞‘ in select clause」问题2、解决方案修改hive -e ${sql}为hive -e "${sql}"3、原因分析若没有使用双引号进行包括，则"hive -e"会认为后面的sql内容解析为多个参数造成错误。而使用双引号后，整个sql将作为一个单独的参数传给hive。

1、shell数组1.1、数组概述数组中可以存放多个值。Bash Shell 只支持一维数组（不支持多维数组），初始化时不需要定义数组大小（与 PHP 类似）。与大部分编程语言类似，数组元素的下标由0开始。Shell 数组用括号来表示，元素用”空格”符号分割开，语法格式如下：array_name=(value1 value2 … valuen)例如：my_array=(A B “C” D)我们也可以使用下标来定义数组:array_name[0]=value0array_na

linux服务器的物理CPU，CPU核数，逻辑CPU及Hadoop的Vcore1、Linux服务器的核数的概念物理CPU： 服务器上真实存在的CPU，可以看到CPU的核 (core)： 一个CPU上包含多少核(core)，真实存在但不能直接看到 总核数 = 物理CPU个数 X 每颗物理CPU的核数 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 在没有开启超线程时，总核数 = 总逻辑CPU个数，如果开启超线程，则总核数 < 总逻辑CPU

rsync 用法教程作者：阮一峰日期：2020年8月26日一、简介rsync 是一个常用的 Linux 应用程序，用于文件同步。它可以在本地计算机与远程计算机之间，或者两个本地目录之间同步文件（但不支持两台远程计算机之间的同步）。它也可以当作文件复制工具，替代cp和mv命令。它名称里面的r指的是 remote，rsync 其实就是"远程同步"（remote sync）的意思。与其他文件传输工具（如 FTP 或 scp）不同，rsync 的最大特点是会检查发送方和接收方已有的文..

1、SSH 命令的三种代理功能（-L/-R/-D）ssh 命令除了登陆外还有三种代理功能：正向代理（-L）：相当于 iptable 的 port forwarding 反向代理（-R）：相当于 frp 或者 ngrok socks5 代理（-D）：相当于 ss/ssr如要长期高效的服务，应使用对应的专用软件。如没法安装软件，比如当你处在限制环境下想要访问下某个不可达到的目标，或者某个临时需求，那么 ssh 就是你的兜底方案。1.1、正向代理：所谓“正向代理”就是在本地启动端口，把本地端

Linux shell xargs命令详解，xargs与管道的区别阅读目录为什么要用xargs，问题的来源 xargs是什么，与管道有什么不同 xargs的一些有用的选项回到顶部为什么要用xargs，问题的来源在工作中经常会接触到xargs命令，特别是在别人写的脚本里面也经常会遇到，但是却很容易与管道搞混淆，本篇会详细讲解到底什么是xargs命令，为什么要用xargs命令以及...

Linux alias实现命令别名需要经常进入/srv/www/app/account这个目录，每次都得重复的输入这一长串路径进入该目录，显得麻烦而费时，因此可以将“cd /srv/www/app/account”这样一个命令取一个别名，每次只需输入该别名就可以进入该目录Linux系统提供了一个有用的工具叫alias，可以让我们将一些需要频繁使用的但又过于冗长的命令设置一个别名，以后只需输...

linux下，源码的安装之 ./configure --prefix --with解释linux下，源码的安装一般由3个步骤组成：配置（configure）、编译（make）、安装（make install）。过程中用到./configure --prefix --with；其中--prefix指的是安装路径，--with指的是安装本文件所依赖的库文件with：指定依赖--w...

shell命令行可选参数的getopts命令使用例子一、概述getopts [option[:]] [DESCPRITION] VARIABLEoption：表示为某个脚本可以使用的选项":" 冒号如果某个选项（option）后面出现了冒号（":"），则表示这个选项后面可以接参数（即一段描述信息DESCPRITION）VARIABLE：表示将某个选项保存在变量VARIABLE中g...

shell语法检查或者查看shell脚本执行过程的参数介绍及两种使用方法一、常用参数概述：set -x 与 set +x在liunx脚本中可用set -x就可有详细的日志输出，省的老是要echo了用于脚本调试。set是把它下面的命令打印到屏幕set -u 是显示语法未定义的变量，却使用了set -x 是开启set +x是关闭set -o是查看 (xtrace)，...

相同服务器我们时常需要相同的部署，这时就需要我们能够实时的同步文件。今天我就和大家分享一个能够实现自动远程实时同步文件的方法：一、利用inotifywait对文件系统事件实时监控, 触发事件调用rsync远程同步文件至一台或多台服务器 接下来说说我们需要使用到的工具：1、rsync一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓...

linux使用flock文件锁解决脚本周期内未执行完重复执行关于flockflock 是对于整个文件的建议性锁。也就是说，如果一个进程在一个文件（inode）上放了锁，那么其它进程是可以知道的。（建议性锁不强求进程遵守。）最棒的一点是，它的第一个参数是文件描述符，在此文件描述符关闭时，锁会自动释放。而当进程终止时，所有的文件描述符均会被关闭。应用场景linux的crontab命令，可...

Shell特殊变量：Shell $0, $#, $*, $@, $?, $$和命令行参数特殊变量列表 变量 含义 $0 当前脚本的文件名 $n 传递给脚本或函数的参数。n 是一个数字，表示第几个参数。例如，第一个参数是$1，第二个参数是$2。 $# 传递给脚本或函数的参数个数。 $* 传递给脚本或函数的所有参数。 $@ 传递给脚本或函数...

    find 命令主要作用是沿着文件层次结构向下遍历，匹配符合条件的文件，并执行相应的操作。Linux 下 find 命令提供了相当多的查找条件，功能很强大，如果能结合xargs等管道命令使得，更是强大无比。下面将从三个方面介绍：（1）find命令介绍及示例  （2）xargs命令介绍及示例 （3）、xargs结合find使用闲话少絮，正文开始：（1）find命令介绍及示例fi...

1Linux下查看文件和文件夹大小2 删除系统日志等场景：在sts中执行自动部署时候maven提示No space left on device错误，后来经检查发现是磁盘空间满了，用下面的方法分析发现tomcat下面的logs目录占用了很大的空间，删除多余的日志问题解决！1Linux下查看文件和文件夹大小当磁盘大小超过标准时会有报警提示，这时如果掌握df和du命令是非常明智的选...

vim中多行注释和多行删除命令，这些命令也是经常用到的一些小技巧，可以大大提高工作效率。

crontab命令的使用方法crontab命令常见于Unix和Linux的操作系统之中，用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于"crontab"文件中，以供之后读取和执行。在Linux系统中，Linux任务调度的工作主要分为以下两类：1、系统执行的工作：系统周期性所要执行的工作，如备份系统数据、清理缓存2、个人执行的工作：某个用户定期要做的工作，例如每隔10分钟检查邮件服务器是否有新信，这些工作可由每个用户自行设置

crontab定时执行表达式写法与crontab在线测试工具推荐    熟悉Unix和Linux的朋友都知道Crontab表达式，通过crontab指令可以周期性调用或执行某个程序。    但是大家写完crontab表达式后，心里总是担心表达式写的不对，可以又没法去验证。比如你的周期定的比较长，一天一周一月或者更久，那么等到那个时候通过去看程序是否运行来判断表达式的正确性是不实际的。这里为大家推荐...

在SecureCRT使用sz与rz命令上传、下载文件命令介绍   一、简介    借助securtCRT，使用linux命令sz可以很方便的将服务器上的文件下载到本地，使用rz命令则是把本地文件上传到服务器    其中，对于sz和rz的理解与记忆我用了如下的方法（很多时候容易搞混）：    sz中的s意为send（发送），告诉客户端，我（服务器）要发送文件 send to cilent，就等同于客...

linux vim操作提示：“Can't open file for writing”或“operation not permitted”的解决办法在linux上使用vi命令修改一个文件内容的时候，发现无法保存，每次写完使用“:q!”命令可以正常退出但是使用"：wq!"命令保存文件并退出时出现一下信息提示：      E212: Can't open file for writing Press ...

前言目前我掌握的基本语言，php（最为熟悉，项目里代码都是用其实现），bash shell（运维利器），c（acm专用），这里面能实现多线程的貌似只有c，但是我c只是用来学习和实现算法和数据结构，因此工作中我想要模拟多进程并发操作，就只能依靠bash shell脚本了技能点shell脚本里实现并发操作，需要用到for循环&amp;后台运行符wait等待所有子进程结束思路我们可以通过写一个for循环...

linux硬链接与软链接Linux 系统中有软链接和硬链接两种特殊的“文件”。软链接可以看作是Windows中的快捷方式，可以让你快速链接到目标档案或目录。硬链接则透过文件系统的inode来产生新档名，而不是产生新档案。创建方法都很简单：软链接（符号链接） ln -s   source  target 硬链接 （实体链接）ln       source  targetinode要解释清楚两者的区别...

1重定向1.1      重定向符号&gt;               输出重定向到一个文件或设备 覆盖原来的文件&gt;!              输出重定向到一个文件或设备 强制覆盖原来的文件&gt;&gt;             输出重定向到一个文件或设备 追加原来的文件&lt;               输入重定向到一个程序 1.2标准错误重定向符号2&gt;           ...

jps 名称: jps - Java Virtual Machine Process Status Tool 命令介绍jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。jps主要用来输出JVM中运行的进...

Shell脚本中$0、$?、$!、$$、$*、$#、$@等的意义以及linux命令执行返回值意义(1) Shell脚本中$0、$?、$!、$$、$*、$#、$@等的意义说明1.1、简要说明ps： 你在Linux环境下多试下就明白了$$Shell本身的PID（ProcessID，即脚本运行的当前进程ID号）$!Shell最后运行的后台Process的PID(后台运行的最后一个进程的进程ID号)$?最...

Linux vi/vim所有的 Unix Like 系统都会内建 vi 文书编辑器，其他的文书编辑器则不一定会存在。但是目前我们使用比较多的是 vim 编辑器。vim 具有程序编辑的能力，可以主动的以字体颜色辨别语法的正确性，方便程序设计。相关文章：史上最全Vim快捷键键位图 — 入门到进阶什么是 vim？Vim是从 vi 发展出来的一个文本编辑器。代码补完、编译及错误跳转...

Linux Shell日期比较，数值比较和字符串比较及相关说明：1. 把字符串当成整型进行比较，由于abcd等字符对不上0123当程序尝试去转成二进制时无法完成转换，所以用于数值比较的运算不能用于字符串比较；但是把整型当成字符串进行比较，0123这些数值完全可以转成ASCII码而且原本两个整型相等则变成ASCII码还是相等、不等的还是不等，所以可用于字符串的比较也可用于整型的比较。2....

linux大文件分割 split命令inux split 命令　　功能说明：切割文件。　　语　　法：split [--help][--version][-&lt;行数&gt;][-b &lt;字节&gt;][-C &lt;字节&gt;][-l &lt;行数&gt;][要切割的文件][输出文件名]　　补充说明：split可将文件切成较小的文件，预设每1000行会切成一个小文件。　...

负载(load)是linux机器的一个重要指标，直观了反应了机器当前的状态。如果机器负载过高，那么对机器的操作将难以进行。Linux的负载高，主要是由于CPU使用、内存使用、IO消耗三部分构成。任意一项使用过多，都将导致服务器负载的急剧攀升。查看服务器负载有多种命令，主要有 uptime ; w ; top ; iostat ，下面将一一展示。