Java/Python大数据成长之路

Yum（Yellow dog Updater，Modified）是一个基于RPM（Red-Hat Package Manager）包构建的软件管理机制，可以自动从指定服务器下载并安装RPM包，并处理依赖关系使用Yum下载更新软件，需要有一个包含各种RPM安装包及其依赖的仓库（Repository），提供仓库的服务器称为源服务器，客户机只需要正确指定仓库的地址等信息，就可以通过对应的源服务器来下载或更新软件配置本地Yum源适用于虚拟机没有网络或者网络不稳定的情况。

在Linux中编译安装软件，例如Python，‌这通常包括如下步骤：下载源码包，配置，编译和安装。安装的Python可以通过绝对路径的方式来执行，但过于麻烦。Linux中可以为安装的Python设置软链接（类似于Windows中的快捷方式）是Linux中的一个脚本配置工具，用来对源码的当前安装环境进行检测，若检测无误，会在当前目录生成一个供源码编译的Makefile脚本文件。是Linux系统下的一个编译安装工具，用来解释执行Makefile文件中的编译以及安装命令。命令将左边的路径设置为右边路径的软链接。

很明显，设备上没有空间，即磁盘空间不足。首先想到的是虚拟机扩容。因此，我们选择清理大文件或将大文件备份到其它机器。至此，我们为第一台机器释放了4.5GB的磁盘空间。点击硬盘，点击扩展，发现需要删除快照才能扩容。下的压缩包删除或备份，这里为安全起见，我们将。下的压缩包分为两批分别备份到其它机器的。下是压缩包解压文件，因此，只能将。然后查看占用空间最大的文件夹。将剩余第二批压缩包发送到。将第一批压缩包发送到。

在Shell中，字符串没有单独的数据类型，一切都是变量。但这并不意味着我们不能像在Java、Python等其他编程语言中那样处理字符串。（n为正数）个字符（冒号后必须空一格）（中文之间及前后的大小写字母保留）（中文之间及前后的小写字母保留）不能使用扩展正则表达式，只能用。：将连续的空格压缩成一个空格。中间的部分（n为正数）：删除第一次出现的子串。：从前往后匹配到第一个。：从后往前匹配到第一个。：去除字符串首尾的空格。：左闭右闭，从0开始。替换第一次出现的子串。

等转义字符先替换为非转义字符，再引用替换后的变量，最后再替换回来。指令引入变量，直接使用双引号即可。解决方案如下：将变量值中的。但是，如果变量值中带有。

指令可以将每个文件以列对列（行对行）的方式按列（行）合并，以制表符为分隔符，水平（垂直）合并文件。（Word Count）指令主要用于计算文件的字数、字节数和行列数。（Text Replacer）指令主要用于对来自标准输入设备的数据进行替换、压缩和删除。指令主要用于文本的行排序。指令主要用于从文件或标准输入的每行中提取字段并输出到标准输出。指令主要用于检查和删除文本文件中重复出现的行列，通常与。通常用来截取文件行中的指定部分，删除文件中的指定字段。主要用于将管道或标准输入（指令主要用于合并文件的列。

1.1、什么是Shell脚本Shell脚本是一种用Shell语言编写的脚本程序。Shell既是一种命令语言，又是一种程序设计语言在Unix和类Unix环境（例如Linux和Mac OS）下，我们可以通过Shell来与操作系统进行交互Shell脚本就像是一个命令序列的集合，将这些命令写入一个文件，就构成了一个Shell脚本1.2、Shell脚本的应用场景Shell脚本的主要作用是自动化执行常用命令和任务，节省手动执行的时间和精力。系统管理：自动化安装和配置软件，系统监控，日志分析等文件操作。

在Shell脚本中，我们可以定义函数来封装可复用的代码逻辑。# commands/bin/bash# 定义函数echo $zread -p "请输入x = " xread -p "请输入y = " y# 调用函数在Shell中，调用函数时可以向其传递参数。在函数体内部，通过$n的形式来获取参数的值，例如，$1表示第一个参数，$2表示第二个参数另外，需要注意的是，return命令只能返回一个介于0~255之间的整数，而两个输入数字的和可能超过这个范围，因此需要使用echo输出。

命令是Linux中的一个常用命令，它可以用于终止当前的Shell进程（结束脚本的执行），并返回退出状态码。选择/分支结构通过判断条件，根据不同的条件执行不同的代码。循环一般有边界（循环次数），如果我们只知道停止条件，不知道循环次数，此时需要使用。用于指定退出状态码，退出状态码是一个整数值，用于表示程序的执行结果。，则会使用上一个命令的退出状态码作为当前Shell进程的退出状态码。指定分隔符后，空格将不再生效。）只对当前层循环语句有效，跳出当前循环，执行下一次循环。，则继续执行循环体内的命令，否则跳出循环；

文本处理是Shell中的一个重要领域，它允许你从文本数据中提取有用的信息，执行搜索、替换、格式化和过滤等操作。（Global Regular Expression Print）指令是一个强大的文本搜索工具，它可以使用正则表达式来搜索匹配的行。指令主要用于在指定目录下递归查找文件和目录，它可以使用不同的选项来过滤和限制查找结果。（Stream EDitor）指令是一个流编辑器，它可以对输入的文本进行复杂的处理。是一种强大的文本处理语言，它可以分析和处理文本中的字段和记录。

由于Shell脚本批处理的特殊性，其大部分操作过程位于后台，不需要用户进行干预，因此，使用重定向和管道进行执行信息的过滤和提取显得尤为重要。Shell（输出）重定向是指不通过标准输出到显示器上，而是输出到指定的位置（文件）。连接两个命令，Shell会将前后两个进程的输入输出用一个管道相连，以便达到进程间通信的目的。是Shell中的一个内部指令，用于将指定字符串打印输出到屏幕（标准输出）将前一个命令的标准输出，作为后一个命令的标准输入。是Shell中的两个标准格式输出指令，其中，则是格式化输出指令，

如果还未上传文件到Linux，可以先在Windows中使用Notepad++转换为Linux格式，然后再上传到Linux。如果我们将Windows文件上传到Linux，直接进行操作，可能会出现一些不必要的麻烦。如果文件已经上传到Linux，可以在Linux中尝试以下方式进行文件格式转换。众所周知，Windows、Mac与Linux三种系统的文件行尾符不同，其中。是一个用于文本文件格式转换的命令。）符号并将行尾符转换为Unix格式。这将直接修改文件，删除所有回车符。中删除回车符，并将结果保存到。

和其他编程语言类似，Shell支持多种运算符：算数运算符、自增自减运算符、关系运算符、布尔运算符、逻辑运算符、字符串运算符和文件测试运算符。原生Bash不支持简单的数学运算，只能通过其他命令来实现，例如。是一款最常用的表达式计算工具，它能帮助我们完成表达式的求值操作。关系运算符只支持数字，不支持字符串，除非字符串的值是数字。命令允许对整数进行自增自减算术运算。也是用于算术运算的语法之一。是进行算术运算的语法之一。操作符，但可以通过其他方式实现该功能。$(( ))`常用。命令可以用于算术运算，但不如。

在Shell脚本中，我们可以自由定义变量来存储数据。例如，定义一个变量greeting并给它赋值为Hello变量的使用只需要在变量名前添加变量名外面的花括号{}是可选的，{}如果不给变量greeting添加{}，写成，解释器就会把当成一个变量，最终导致结果为空。

输入密码即可执行导入。

【代码】Linux文件文本内容查找常见操作。

RPM（Red Hat Package Manager）即Red Hat包管理器，是由红帽公司最先发布的一种用来打包软件的的文件格式，它是一种特定的用来安装、卸载软件等操作的专门格式，它里面打包的内容是一个可以直接使用的具体软件。就是一个压缩包，类似于Windows上的ZIP、RAR等文件，它是为了便于传输所产生的一种专门用于网络流通的文件格式，这种文件格式与其他两种软件存在本质上的区别，例如，最后总结来说就是，通常，tgz格式的都是源程序，灵活但安装麻烦；：安装简单、速度快，还可以实现包的升级、卸载。

Python作为一种强大的脚本语言，其易用性和灵活性使得它成为自动化任务的理想选择。在Python中执行Shell脚本可以实现一些操作系统级的功能，使程序更加灵活、易理解和易维护在某些场景下，我们可能需要在Python程序中执行Shell命令。自动化部署：在部署应用程序时，我们可能需要执行一系列Shell命令，例如创建文件夹、复制文件等系统管理：在管理服务器或操作系统时，我们可能需要执行一些Shell命令来获取系统信息、监控状态等数据处理。

1、什么是curl2、curl命令的基本使用CURL（CommandLine Uniform Resource Locator）是一个利用URL语法，在命令行终端下使用的网络请求工具，支持HTTP、HTTPS、FTP等协议Linux、MAC系统一般默认已安装好CURL，可直接在终端使用；，下载解压后的可执行文件在bin下。

实际工作中，90%的程序都没有必要花这么多时间和精力去解决上面的两个问题，只需要写好自己的业务逻辑，通过crontab工业级程序去调度就行了，crontab的可靠性、健壮性与稳定性是毫无疑问的。注意：crontab -e命令会检查语法，而vim编辑/etc/crontab则不会，crontab -e不需要写执行者用户名，而/etc/crontab需要指定。如果不使用crontab，那么任务就是常驻程序，这对你的程序要求比较高，一是要求你的程序是24x7小时不宕机，二是要求你的调度程序比较可靠。