Hadoop
Hadoop
睡覺了
我现在能做的,便是以一段拙劣的文字来祭奠我那段流逝的岁月
展开
-
Review Hadoop 的组成部分
hadoop 的组成部分HDFS管理者:NameNode作用:负责管理,管理集群内各个节点。负责管理整个文件系统的元数据(指的是数据的存放位置或存放路径)或名字空间辅助管理者:SecondaryNameNode作用:责辅助NameNode管理工作。工作者:DataNode作用:负责工作,进行读写数据。 周期向NameNode汇报。负责管理用户的文件数据块(一个大的数...原创 2020-04-12 11:13:53 · 8628 阅读 · 2 评论 -
HDFS Or yarn
http://192.168.100.201:50070/http://192.168.100.201:8088/cluster原创 2020-04-03 09:42:42 · 8436 阅读 · 0 评论 -
Hadoop基本命令
操作hdfs系统可以使用hadoop fs 也可以使用 hdfs dfs ,两者效果一样。Hadoop启动:start-all.sh 等价于 start-dfs.sh + start-yarn.sh一般不推荐使用 start-all.shhadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录hadoop fs –lsr //循环列出目录、...原创 2020-04-02 17:17:51 · 7667 阅读 · 1 评论 -
Hadoop 程序运行两大模型
案例 : world countIDEA pom文件 :指定本次MapReduce程序中 数据输入的路径(hdfs文件系统中的路径) 和 数据最终输出 存放在什么位置(hdfs文件系统中的路径)1.创建数据输入的路径(hdfs文件系统中的路径):hadoop fs -mkdir -p /Hado...原创 2019-12-12 09:24:05 · 6766 阅读 · 0 评论 -
Hadoop API
<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.4</version> ...原创 2019-12-12 09:06:46 · 7016 阅读 · 0 评论 -
Hadoop环境变量配置
Hadoop环境变量配置1.一旦 Hadoop 集群启动并运行,可以通过 web-ui 进行集群查看,如下所述: NameNode(HDFS管理界面):192.168.25.100:50070 或 node1:50070 ResourceManager(MR管理界面):http://192.168.25.100:8088 或 node1:8088 2.配置 win...原创 2019-12-12 09:01:50 · 11562 阅读 · 0 评论 -
Hadoop底层原理
Hadoop底层原理1.客户端执行hdfs fs put 本地文件系统中的文件路径 hdfs文件系统中的目录路径:hdfs fs put ./a.txt / 发送上传请求给namenode。2.namenode根据元数据中的文件系统目录树 检测是否存在“该指定的接收上传文件的”目录,检测成功则返回成功信息给客户端。3.客户端根据上传文件被分为多少份文件块,向namenode请求获取对应多...原创 2019-12-12 08:32:01 · 6901 阅读 · 2 评论 -
Hadoop分布式集群部署安装
Linux 准备工作 :①关闭防火墙 /etc/init.d/iptables stop ②(重启之后不再开防火墙)chkconfig iptables off③ 关闭selinux: vim /etc/selinux/config 把 SELINUX = enforcing 改为 : SELINUX...原创 2019-10-31 22:26:39 · 8230 阅读 · 5 评论