认知实习第二天

目录

HADOOP集群搭建

HDFS Shell命令使用

虚拟机指令

常用端口

一些基本指令

一些后缀解释

---

HADOOP集群搭建

• 大数据集群方案-单机模式

*注：要求windows系统运行内存至少8G！

• 大数据集群模式-集群模式

*注：要求windows系统运行内存至少16G！

HDFS Shell命令使用

HDFS最常用的三种Shell命令分别是：hadoop fs、hadoop dfs和hdfs dfs。这些命令适用于不同的文件系统，如本地文件系统和HDFS文件系统。这些命令可以帮助用户查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。

1、hadoop fs：适用于任何不同的文件系统

2、hadoop dfs和hdfs dfs：只能适用于HDFS文件系统。

3、mkdir:创建文件夹

                例一：在分布式主目录下新建文件夹test

                       [hadoop@root ~]$ hafs dfs -mkdir /test

                       [hadoop@root ~]$ hdfs -ls /

                例二：在根目录下新建文件夹/test/ ***0/***1,若上一级目录不存在，需要使用到-p参数

                       [hadoop@root ~]$ hadf dfs -mkdir -p /test/***0/***1

                       [hadoop@root ~]$hdfs dfs -ls/test/***0

4、touchz:新建文件

                例一：在/test/下新建文件***1

                       [hadoop@root ~]$ hdfs dfs -touchz /test/***1

                       [hadoop@root ~]$ hdfs dfs -ls/test/

5、ls:查看列表目录

*下表详细列出-ls命令选项和功能

                   例一：列出/test目录下的所有文件和目录信息

                           [hadoop@root ~]$ hdfs dfs -ls/test

                   例二：列出目录和文件的大小

                           [hadoop@root ~]$ hdfs dfs -ls -h /test

                   例三：查看列表详细内容

                            [hadoop@root ~]$ hdfs dfs -ls -l /test  (ll相当于ls -l)

6、rm：删除目录和文件

*下表详细列出rm命令的选项和功能

                   例一：删除文件***0中的文件***1

                          [hadoop@root ~]$ hdfs dfs -ls -R /test/***0

                          [hadoop@root ~]$ hdfs dfs -rm /test/***0/***1

                          [hadoop@root ~]$ hdfs dfs -ls -R /test/***0

                   例二：删除目录及目录下的目录和文件

                          [hadoop@root ~]$ hdfs dfs -ls -R /test/***0

                          [hadoop@root ~]$ hdfs dfs -rm -r /test/***0

                          [hadoop@root ~]$ hdfs dfs -ls -R /test/

7、put/get:上传/下载

                  例一：把本地新建的文件test.txt放到分布式文件系统主目录下，保存名为hfile

                          [hadoop@root ~]$ touch /tmp/test.txt

                          [hadoop@root ~]$ ls -l /tmp/test.txt

                          [hadoop@root ~]$ hdfs dfs -put /tmp/test.txt /test/hfile

                          [hadoop@root ~]$ hdfs dfs -ls /test/

                 例二：把本地新建的文件test.txt放到分布式文件系统主目录下，覆盖原来的文件

                         [hadoop@root ~]$ hdfs dfs -ls /test/hfile

                         [hadoop@root ~]$ hdfs dfs -put -f /home/hadoop/hfile /test/hfile
                         [hadoop@root ~]$ hdfs dfs -ls /test/hfile 

                 例三：把本地新建的文件test.txt放到分布式文件系统主目录下，保持源文件属性

                         [hadoop@root ~]$ ls -l /home/hadoop/file

                         [hadoop@root ~]$ hdfs dfs -put -p /home/hadoop/file /test/
                         [hadoop@root ~]$ hdfs dfs -ls /test/file

8、cat、text、tail:查看文件内容

9、cp:复制文件

                 示例：

                       [hadoop@root ~]$ hdfs dfs -mkdir /test/***0

                       [hadoop@root ~]$ hdfs dfs -cp /test/file2 /test/***0

                       [hadoop@root~]$ hdfs dfs -ls /test/***0

虚拟机指令

一、启动与关闭虚拟机：

1、启动虚拟机：使用启动命令，如start-all.sh或start-dfs.sh启动Hadoop分布式文件系统（HDFS）、YARN等组件。

2、关闭虚拟机：使用关闭命令，如stop-all.sh或stop-dfs.sh关闭Hadoop组件。

二、文件系统操作：

1、列出文件或目录：使用hadoop fs -ls命令列出HDFS中的文件或目录。

2、创建目录：使用hadoop fs -mkdir命令在HDFS中创建新目录。

3、拷贝文件：使用hadoop fs -copyFromLocal命令将本地文件复制到HDFS中。

三、集群信息查看：

1、查看集群状态：使用hadoop dfsadmin -report命令查看HDFS集群的状态信息。

2、查看节点信息：使用hadoop dfsadmin -printTopology命令查看HDFS集群的节点拓扑结构。

四、日志管理：

1、查看日志文件：使用hadoop dfs -cat命令查看Hadoop组件的日志文件内容。

2、压缩日志文件：使用hadoop fs -get命令将日志文件从HDFS下载到本地后进行压缩。

五、资源管理：

1、查看集群资源使用情况：使用yarn top命令查看当前YARN集群中正在运行的应用程序和其资源使用情况。

2、管理资源队列：使用yarn queue命令管理YARN中的资源队列。

系统配置：

六、修改配置文件：编辑Hadoop配置文件，如hdfs-site.xml、core-site.xml等，以更改系统的行为。

常用端口

一、HDFS端口2.x：50070

                        3.x：9870

二、日志端口：19888

三、yarn端口：8088

192.168.52.161：__端口__

一些基本指令

1、Ifconfig查看当前系统中所有网络接口的详细信息，如IP地址、子网掩码、广播地址等

2、cd -或者cd ..回到上一层目录

3、reboot重启虚拟机

4、关机命令

     格式：shutdown 参数 时间

             Shutdown -h now  #立即关机

             Shutdown -h 19:00  #计算机将会在今天晚七点关机，过了这个时间点明天七点关机

             Shutdown -h +10  #表示系统会在10分钟后关机

             Shutdown -r now  #-r=reboot，表示立刻重启

             Shutdown后不加参数默认一分钟后关机

一些后缀解释

1、bin放执行脚本（一般存放客户命令）

2、etc放配置文件

3、lib放一些依赖