hadoop学习笔记

ls 命令查看详细，用于列出目录里的内容。

ll 相当于ls-l。

在linux系统中，在终端中输入并执行命令时，这些命令实际上是shell命令。

访问HDFS：

生产环境中使用Hadoop 3.3.0版本 HDFS的web界面端口号是 9870

Hadoop 2.0版本 HDFS的Web界面端口号是50070

Hadoop 3.0及以上版本 HDFS的web界面端口号是 9870

生产环境中使用Hadoop 3.3.0版本 HDFS的web界面端口号是 9870

YARN 2.0及以上版本  ResourceManager的Web界面端口号是8088

日志查看 Web界面的端口号是19888

bin 放运行文件的

cd - 返回上一层操作的地方,上一个访问的目录。

与cd ..做区别

cd .. 返回上一级目录，当前目录的父目录。

etc 一般存放的是系统上的配置文件

lib 程序运行时需要的依赖文件

Jar包  与java相关

杀死一个脚本或进程 kill命令

关机命令 shutdown -h now

重启系统 reboot

Apach hive

Hive是hadoop的一个工具，基于hadoop去实现的。

处理文件数据可以使用java、python可以对文件式数据进行处理。

Sql对结构化的表去做处理，无法对.txt文件进行处理。

对表结果，相当于把加减乘除给封装了。

Hive有两个功能一.将我们的文件转化为表结构

二.把sql转化为mr代码

元数据  

比如现在有一个文件，鼠标右键属性，属性里面有很多信息，

核心信息，文件位置，大小，所有权，描述数据的称为元数据

一个元数据  hadoop源数据 Namenode（管理命名空间节点）管理 记录块储存位置

一个元数据  hive源数据 把文件转化为表结构 转化为几行，用什么划分