Cupcake_JackY-CSDN博客

原创 hadoop学习 16 9.2 HDFS 第二种开机启动（未格式化后启动）时NameNode元数据目录的变化

大致步骤：1）加载已有的edits和fsimage文件2）生成新的edits和fsimage文件、edits_inprogress文件fsimage文件存储的信息比edits文件更全面

2021-09-05 22:00:48 209

原创 hadoop学习 15 9.2 HDFS 第一种开机启动（格式化后启动）时NameNode元数据目录的变化

叫法：edits文件：编辑日志文件fsimage文件：HDFS镜像文件第一种开机启动（格式化之后再启动，相当于一个新的集群），创建新的fsimage和edits文件

2021-09-05 22:00:11 219

原创 hadoop学习 14 9.1 HDFS NameNode工作目录介绍

再看看NameNode中的元数据：其中（需要注意的）：edits文件的后缀名，表示在1个小时的间隔时间内，执行的写操作编号（序号）；每隔1个小时，SecondaryNameNode会将NameNode当前的edits与fsimage文件进行合并，生成新的fsimage，然后生成新的空的edits文件（没太懂，不是很重要，后面慢慢理解）edits_inprogress文件，是当前正在执行的操作（编号总是最大）fsimage文件，是SecondaryNameNode将edits文件与fsimage

2021-09-05 21:59:27 265

原创 hadoop学习 13 9.0 HDFS（后面内容的概括）

HDFS工作机制（概括，后面几篇文章会详细讲）：HDFS安全模式：心跳机制检查点机制网络拓扑、机架感知结点（DataNode）的动态上线、下线管理命令：

2021-09-05 21:58:42 74

原创 hadoop学习 12 HDFS FSImage Edit文件

打开fsimage文件（以XML文件格式）查看XML格式的fsimage文件：打开edits文件

2021-09-05 21:57:40 100

原创 hadoop学习 11 HDFS 优缺点

HDFS 优点：**1. 高容错性（硬件故障是常态）：**数据自动保存多个副本（默认为3），这样在少数副本丢失后，可以自动恢复；**2. 适合大数据集的存储：**一般的单位都是GB、TB、PB，结点规模也较大，可达1000以上；**3. 数据访问安全：**一次性写入，多次读取，保证了数据的一致性、安全性；4. 可部署在廉价的机器上；**5. 由JAVA编写，**软硬件平台可移植性高；**6. 高效性：**Hadoop能在结点之间高效移动数据，保证结点数据各个参数的动态平衡，使得处理速度较快；*

2021-09-05 21:56:45 92

原创 hadoop学习 10 HDFS 查看、更改块的配置信息

HDFS块的属性说明：HDFS块的配置信息在 hdfs-site.xml中：NameNode、SecondaryNamenode、DataNode的{hadoop.tmp.dir}分别如下图所示：NameNode：SecondaryNamenode：DataNode：以DataNode为例，在刚才的路径基础上，继续进入（进入很多层），可以看到块的相关文件：...

2021-09-05 21:55:46 356

原创 hadoop学习9 HDFS 块的基本概念、与传统分布式文件系统思想的对比

一、 HDFS块的概念传统分布式文件系统：不分块HDFS：分块这里的副本冗余，意思是将一个块分多次存储到不同的server中，这个块就有了多个副本，也就是冗余。（相当于：传统的分布式存储，是按每个文件的大小，平分，然后放入特定数量的server中，这样随着每个文件的大小不同，平分后的大小也不同，进而导致每个server中实际存储的数据大小也不同（有较大差异），这样就会导致1 存储负载不均衡 2 网络宽带不均衡的现象；HDFS的文件系统，是按块为大小，将每个文件（即使大小不同），都分成若干

2021-09-05 21:54:49 1843

原创 hadoop学习8 HDFS shell指令大全 2

索引（便于复习）：hdfs dfs -setrep [-R] hdfs dfs -stat [format] <path/file>（默认显示时间）hdfs dfs -test [选项] <目录/文件>（不会用，学了shell编程再来看看）hdfs dfs -touchz 文件名hdfs dfs -count <文件夹>hdfs dfs -getmerge <hdsf文件夹> <本地文件(可不存在)>hdfs dfs -mv <

2021-06-27 17:46:16 146

原创 hadoop学习 7 HDFS shell指令大全 1

注意：hdfs的命令行中，路径必须从根目录/开始写，即绝对路径。索引（便于复习）：hdfs dfs -mkdir [-p] /目录hdfs dfs -put hdfs dfs -copyFromLocal <local_src> <hdfs_dst>hdfs dfs -moveFromLocal <local_src> <hdfs_dst>hdfs dfs -copyToLocal <hdfs_src> <local_dest

2021-06-27 17:44:10 86

原创 hadoop学习 6 HDFS shell指令学习

具体的指令讲解，在hadoop官网上有，可以经常阅读。访问hdfs系统的指令有2种，hadoop fs 和 hdfs fs，这两种之间没有太大的区别：

2021-06-15 17:44:50 122 1

原创 hadoop学习 5 HDFS 完全分布式执行MapReduce的wordcount案例

在HDFS的完全分布式模式部署完毕后，现在开始执行MapReduce的一个jar包来测试集群是否工作正常：大致流程：1）启动集群2）在本地创建输入文件3）进入hdfs，在hdfs中创建输入文件夹，并把本地的输入文件上传进去4）执行MapReduce程序5）进入hdfs，查看程序执行结果（输出文件）具体操作（不做特别说明，每一步操作都在master上进行）：新建/root/hadoop/data/目录，作为测试文件存放的目录：在这个目录下新建2个txt文件，里面随便编辑一些内容，

2021-06-15 17:43:54 1294

原创 CentOS7学习 30 shell编程运算符

运算符：用的很多。。一共有3种语法：1） $((算式))2） [算式]（推荐）3）expr算式一般就用[算式] （推荐）3） expr 算式一般就用[算式]（推荐）3）expr算式一般就用[算式]的形式，其它一般不用。其中：1）和2）中，数字和运算符之间不能加空格；3）中的算式，数字和运算符之间必须加空格。案例：第三种形式，expr，需要加反引号，和之前shell编程的“命令返回值”相似，RES=‘ls -l’这种，就是将命令的返回值赋予了RES变量。这里的expr应该和命令是同

2021-06-15 17:38:12 190

原创 CentOS7学习 29 shell编程预定义变量

预定义变量：自己的理解：预定义变量一般涉及到执行这个脚本的进程号、后台执行某个脚本的进程号、执行某个脚本的返回值，这些其实就是操作系统内部的一些让外部可以访问的变量，让用户可以观察到shell程序运行的系统级动作。实验：分别尝试不同的预定义变量，并输出：下图中，在preVar.sh中，执行的同时也在后台调用执行了my.sh脚本，注意后台执行的脚本后面是一个符号 &...

2021-06-15 17:36:58 188 1

原创 CentOS7学习 28 shell编程位置参数变量

位置参数变量通俗的来说，就是我们把我们写的shell脚本当作一个可以执行的命令（一个功能），那么有时我们在执行特定功能的shell程序时，可能需要输入一些参数，比如通过shell程序求和，那就需要在输入执行shell程序指令的同时，输入求和的数字。位置参数变量，就是为了让shell程序在程序内部可以读取到外部调用程序时输入的参数。实验：编写shell脚本，尝试各种位置参数变量：学到这里还不足以编写求和的shell脚本，因为还没有学习运算符等。继续学习后面的。...

2021-06-15 17:35:03 246

原创 CentOS7学习 27 shell编程环境变量全局shell变量

环境变量：基本语法：export 变量名=变量值将这个变量输出为环境变量环境变量，就可以理解为shell的全局变量。系统的环境变量，需要在/etc/profile中设置，然后需要source让其生效。shell程序中的多行注释：:<<! 注释内容 !系统变量在所有shell脚本中都可以访问引用：...

2021-06-15 17:34:09 224

原创 CentOS7学习 26 shell 编程变量定义、命令返回值

shell编程也有变量。只要有比较高级的逻辑，那肯定都是有变量的。shell的变量可以分为两类：系统变量；用户自定义变量。输出一些shell的系统变量：自己的理解：这些所谓的“shell的系统变量”，可以理解为：shell这个模块（子系统），是用来辅助操作系统运行的，在辅助系统运行的过程中，会产生一些比较常用的、比较全局的、比较重要的变量，这些变量通常可以更好的让shell模块完成辅助系统运行的这个职能。所以才有了shell系统变量。像下图中的$HOME变量，就是用来标识当前用户的家目录；

2021-06-15 17:33:11 797

原创 CentOS7学习 25 shell 编程基本概念、基本编写、运行方式

对于大数据程序员，shell程序（脚本），在维护集群时非常有用，用的很多。shell是用户用来和系统内核交互的模块（子系统）。shell的版本很多，bash shell是其中的一种。shell脚本的一些基本概念：1）脚本首行必须是：#!/bin/bash就是向os说明，指定要使用的解释器。2） shell脚本必须有可执行权限。3） shell脚本文件名的后缀，一般约定是.sh，其实用任何后缀都可以，不用后缀也可以，只不过约定.sh后缀是为了让人知道这是一个shell脚本。语句结束不需

2021-06-15 17:31:26 475

原创 CentOS7学习 24 yum

指令索引：yum list | grep xxx（查询yum服务器上是否有相应的软件包，一般都要加grep，否则显示的太多了。）yum install xxx（yum安装指令）yum --installroot=<安装路径> install <要安装的软件名> （指定yum安装目录）自己的一点感悟：Linux上很多配置，都是通过配置文件来进行的，在修改完配置文件后，需要重启相应的进程，也就是重新使配置文件生效，才可以将新的配置应用起来。又加深了Linux系统一切皆文件的规

2021-06-15 17:30:05 166

原创 CentOS7学习 23 RPM包管理

指令索引：rpm -qa | grep xx（rpm包查询指令）rpm -aq（列出所有已经安装的rpm包，一般不用，因为很多。）rpm -q <软件包名>（直接查询软件包是否安装，和rpm -qa | grep <软件包名关键字> 没有区别）rpm -qi <软件包名>（i：information用来查询某个软件包的具体信息）rpm -al <软件包名>（查询某个rpm软件包的安装路径）rpm -qf <文件全路径> （查看某个路径文

2021-06-15 17:28:59 238

原创 CentOS7学习 22 进程管理——动态监控进程、网络情况

索引（便于复习）：top [选项] （任务管理器，有交互指令）netstat -anp | more （网络管理器，用来查看网络相关的进程，一般来说内容较多，要结合more或less来使用，可以结合grep）netstat -anp | grep 关键字一、动态监控进程（任务管理器）top [选项]功能：动态查看正在运行的进程信息，与ps指令类似，可以与windows的任务管理器对比。每隔3秒（默认）会自动刷新一次（和任务管理器一样。）常用选项：top指令还有交互操作：（注意大小写，

2021-06-08 18:14:45 1043 1

原创 CentOS7学习 21 进程管理——服务（service）管理

2021-06-08 18:12:10 1521

原创 CentOS7学习 20 进程管理——杀死进程

索引（复习备用）：kill [-9] 进程号killall 进程名称（支持通配符，比如杀死以A开头的所有进程就是A）（一个终端对应一个bash进程）pstree [-pu]（显示进程树，-p显示PID，-u显示进程所属用户）终止进程：kill [选项] 进程号常用选项：-9 表示强制终止进程killall 进程名称（支持通配符，比如杀死以A开头的所有进程就是A）**案例1：踢掉某个非法登录的用户先ps -aux | grep sshd来查询所有使用sshd登录的进程：然后k

2021-06-08 18:11:02 4841

原创 CentOS7学习 19 进程管理——查看进程信息

2021-06-08 18:09:18 3676 1

原创 CentOS7学习 14-18 指令索引

定时任务调度：这里需要掌握的是定时任务调度的语法，即设定时间的格式。crontab -ecrontab -lcrontab -r磁盘相关命令：lsblk -f指令：功能：查看系统分区和挂载情况（磁盘分区和文件系统的对应关系）lsblk指令：功能同上，只是显示的内容不同系统添加（挂载）新的硬盘：增加硬盘的大致步骤：具体步骤即截图查看文档171）虚拟机添加硬盘（如果在真实服务器环境下，应该是插入几块新磁盘，然后通过ctrl+R进入RAID设置面板，把这几块新磁盘设置RAID，然后初始

2021-06-08 18:08:01 97

原创 CentOS7学习 18 磁盘情况查询

索引（方便复习）：df -lh（查询系统整体磁盘使用情况）du -ach [–max-depth=n] <目录> （查询指定目录的磁盘占用情况，默认为当前目录（其实就是查看每个目录或文件占用磁盘的大小））ls -l <目录> | grep “^-” | wc -l （统计目录下一共有多少文件（个数），其实就是简单的指令组合）ls -lR <目录> | grep “^-” | wc -l（统计目录下文件的个数（包括子文件夹中的文件））tree <目录>

2021-06-08 18:07:30 411

原创 CentOS7学习 17 linux添加新硬盘

增加硬盘的大致步骤：1）虚拟机添加硬盘（如果在真实服务器环境下，应该是插入几块新磁盘，然后通过ctrl+R进入RAID设置面板，把这几块新磁盘设置RAID，然后初始化，这样OS才可以检测到新磁盘的存在）2）分区： fdisk /dev/sdc3）格式化： mkfs -t ext4 /dev/sdc14）挂载：先创建一个目录 /home/newdisk_sdc，然后执行挂载指令 mount /dev/sdc1 /home/ newdisk_sdc5）设置可以自动挂载（永久挂载）6）

2021-06-08 18:05:56 905

原创 CentOS7学习 16 linux磁盘分区、挂载

分区基础知识：linux分区：linux无论有几个分区，分给哪一个目录使用，它归根结底就只有一个根目录，一个独立且唯一的文件结构，linux中每个分区都是用来组成整个文件系统的一部分；linux采用了一种叫“载入”的处理方法，它的整个文件系统中包含了一整套的文件和目录，且将一个分区和一个目录联系起来，这时要载入的一个分区将使它的存储空间在一个目录下获得。常用的记法：（目前多用SCSI硬盘）lsblk -f指令：功能：查看系统分区和挂载情况（磁盘分区和文件系统的对应关系）（这里的UU

2021-06-08 18:02:56 92

原创 CentOS7学习 15 任务调度：实例演练

案例1：我的解答：*/1 * * * * date >> /tmp/mydate老师的解答：可以用sh脚本文件来执行date >> /tmp/mydate指令：1）新建myshell.sh（假设路径为/home/myshell.sh），编写指令date >> /tmp/mydate到里里面2）chmod，给sh文件可执行权限x3）crontab -e4）*/1 * * * * /home/myshell.sh5）wq保存退出即可具体实验截图：

2021-06-08 18:01:40 193

原创 CentOS7学习 14 定时任务调度：概念介绍

任务的定时调度，用的是crontab机制：意思就是，让linux定时执行写好的脚本/代码，比如数据备份。定时调度的用处：系统工作：一些重要的工作，必须周期性的执行，如扫描病毒等；个别用户工作：如MySQL数据库的备份等。**crontab [选项]：crontab -ecrontab -lcrontab -r**常用选项：在crontab -e编辑文件时，涉及到占位符，具体含义如下：*时间指定的一些例子：具体的使用如这样：案例（入门，不需要完全搞懂）：步骤：

2021-06-08 17:59:02 131

原创 CentOS7 学习 11-13 练习权限——警察和土匪的游戏

题目（把jack换为rose）：解答：（1）创建组（2）创建用户创建用户rose、jerry、xh、xq将这四个用户分别归于不同的组中（其实创建用户时可以直接用 useradd -g police rose）（3）rose创建一个文件，自己可以读写，本组人可以读，其他人无权限（4）rose修改该文件权限，让其他组人可以读，本组人可以读写（5）xh投靠警察（police），看是否可以对这个文件进行读写。xh投靠police这里由于没有修改/home/rose文件夹的权限，

2020-11-26 10:56:32 890

原创 CentOS7 学习 13 常用指令 10 文件、目录的权限管理

索引：chmod u=rwx, g=rx, o=x 文件/目录chmod o+w 文件/目录chmod a-x 文件/目录chmod 751 文件/目录chmod指令：chmod [选项] 文件/目录功能：修改文件/目录的权限。方法1：通过+，-，=变更权限u：所有者，g：所在组，o：其他人，a：所有人（u，g，o的总和）比如：chmod u=rwx, g=rx, o=x 文件/目录chmod o+w 文件/目录chmod a-x 文件/目录使用举例：案例1：案例2：

2020-11-26 10:54:48 176

原创 CentOS7 学习 12 常用指令 9 文件、目录的权限

文件/目录的权限索引：本篇主要为概念的介绍-rw-r–r--其中0-9位：1）第0位表示文件类型（-，d，l，c，b）2）第1-3位表示文件所有者拥有该文件的权限 --User3）第4-6位表示文件所属组（同用户组的用户）拥有该文件的权限 --Group4）第7-9位表示其它组用户拥有该文件的权限 --Other其中，第1-9位，每3位可以用一个数字来表示：rwx：r=4，w=2，x=1；即：rwx组成一个3位的2进制数r w x0 0 0当r位为-时

2020-11-26 10:52:34 118

原创 CentOS7 学习 11-13 指令索引

文章11-13的指令索引，用于复习和回忆：压缩、解压：gzip（压缩）/gunzip（解压）：zip（压缩）/unzip（解压）：（在项目打包发布中常用，这个和windows一样）tar -zcvf xx.tar.gz 要压缩的文件filetar -zxvf xx.tar.gz [-C 解压到的路径dir]文件所属用户、所属组的改变：chown [-R] 用户名文件名chgrp [-R] 组名文件名chown [-R] newowner:newgroup 文件/目录文件/目录的权限管

2020-11-26 10:51:01 84

原创 CentOS7 学习 11 常用指令 8 组管理

索引：chown [-R] 用户名文件名chgrp [-R] 组名文件名chown [-R] newowner:newgroup 文件/目录usermod -g 组名用户名usermod -d 目录名用户名基本概念：对于文件，又有了新的概念：所有者、所在组、其它组：补充：如果不小心删除了某个用户的家目录，则可以恢复，参考网址：https://blog.csdn.net/qq_37811638/article/details/82841551（jack家目录中的文件不小心被我删除

2020-11-26 10:50:01 106

原创 CentOS7 学习 10 常用指令 7 压缩、解压缩

索引：gzip（压缩）/gunzip（解压）：zip（压缩）/unzip（解压）：（在项目打包发布中常用，这个和windows一样）tar -zcvf xx.tar.gz 要压缩的文件filetar -zxvf xx.tar.gz [-C 解压到的路径dir]压缩方式1：gzip（压缩）/gunzip（解压）：gzip 文件file：功能：将文件压缩成*.gz文件（不保留原先的文件）；gunzip xxx.gz：功能：将.gz文件解压。案例1：将hello.txt压缩为hello.t

2020-11-26 10:48:04 755

原创 CentOS7 学习 9 常用指令 6 搜索、查找

find、locate、grepfind [搜索范围] [选项] 查找目标：**搜索范围：**一般是一个目录常用选项：应用案例1：查找/home目录下所有txt文件：应用案例2：查找/opt目录下，用户名称（文件拥有者）为root的文件：应用案例3：找到整个linux系统中，大于20m的文件（+n大于，-n小于，n等于）：（单位的字母大小写自己试）应用案例4：组合条件：查找/root目录下，所有txt文件，且拥有者为root，且小于20M：locate 搜索文件：功能：快速定位

2020-11-26 10:46:16 348

原创 CentOS7 学习 8 常用指令 5 时间日期类指令

date、cal类指令按照特定格式显示日期、时间：date “+显示格式”这里的双引号中，第一个加号+一定要写，后面的年、月、日、时、分、秒之间的连接符随便写。设置系统日期、时间：date -s “日期、时间字符串”日历、年历打印：cal [年份]应用案例1：显示本周日历：应用案例2：显示2020年年历：...

2020-11-25 20:29:27 153

原创 CentOS7 学习 7 常用指令 4 ln（软链接） history（历史执行指令）

ln -s [原文件或目录] [软链接名]：功能：给原文件创建一个软链接软链接：相当于windows下面的快捷方式如下图，通过ll指令或ls -l指令列出的软链接，会有一个箭头指向原文件：进入软链接后的工作路径，还是软链接，如下图：删除软链接，用rm -rf 软链接。（删除软链接并不会删除原文件）注意（删除软链接时，后面一定不要带”/” ！！！）：history：功能：显示已经执行过的历史指令。应用案例：显示所有历史指令history显示最近使用过的10个指令h

2020-11-25 20:28:30 904

原创 CentOS7 学习 6 常用指令 3 重定向追加

重定向指令>重定向（覆盖）、>>重定向（追加）：补充：echo 内容：（echo是直接输出后面的内容）head -n x 文件（默认前10行）：查看文件的前x行内容。tail -n x 文件（默认后10行）：查看文件的后x行内容。tail -f 文件：（经常用，日志、安全）实时监控文件的更新，并输出。（可以用另一个终端连接os，然后更新这个文件，观察效果）...

2020-11-25 20:27:17 1055

空空如也

空空如也