大数据实习认知学习笔记Day2

1.Hadoop集群环境

2.集群的使用

指令：

一键启动：/onekey/my-start-all.sh

一键关闭：onekey/my-stop-all.sh

查看启动进程：jps

页面访问：

HDFS页面：http://192.168.52.161:50070

YARN页面： http://192.168.52.161:8088

运行日志： http://192.168.52.161:19888

3.HDFS架构

四个基本组件：

HDFS Client：客户端

NameNode：管理者

DataNode：Slave

Secondary NameNode：辅助

Shell命令：

ls:  hadoop fs -ls URI

mkdir:  hadoop fs –mkdir [-p] <paths>

mv:  hadoop fs -mv <src> <dst>

rm:  hadoop fs -rm [-r] [-skipTrash] URI [URI ]

cp:  hadoop fs -cp <src> <dst>

cat:  hadoop fs -cat <filepath>

put:  hadoop fs -put <localsrc> ... <dst>

get:  hadoop fs -get <src> <localdst>

4.Apache Hive

•写SQL--->得到结果

•底层都是MR在运行，但是使用层面上更加简单了

•可伸缩、可扩展、容错、输入格式的松散耦合

5.总结

通过今天的学习更深刻的了解了hadoop集群各部分之间的关系和协调作用，对其基本组件有了全新的理解，复习了shell命令方便了我以后更加快捷的使用。第一次了解到了hive这个系统，认识到了这个系统的方便，为数据操作提供了良好的伸缩性和可扩展性。感受到自己还有很多不足的地方还需要努力。