Hadoop
文章平均质量分 73
。
·惊鸿
本人已脱离此行业,博客不在更新
展开
-
hadoop完全分布式、伪分布、单机
2.slaves 文件不需要设置其他从节点,比如slave1,slave2,只需要把自己的主机名加进去。可以使用ssh客户端工具的MultiExec来做(确保每台机器都在~家目录)1.涉及到其他机器的拷贝,分发都不用。在master主节点显示五个进程。从节点slave显示三个进程。在slave节点运行命令。原创 2022-10-22 16:28:24 · 987 阅读 · 0 评论 -
Hadoop从0到掌握
主要记录了Hadoop各个组件的基本原理,处理过程和关键的知识点等,包括HDFS、YARN、MapReduce等。分析需要从不同的硬盘读取数据:MapReduce 而Hadoop提供了1.可靠的共享存储(分布式存储) 2.抽象的分析接口(分布式分析)不能使用一台机器 进行处理的数据 大数据的核心是样本 = 总体1.数据分布在多台机器可靠性:每个数据块都复制到多个节点性能:多个节点同时处理数据2.计算随数据走网络IO速度 ...原创 2022-06-28 17:13:50 · 335 阅读 · 0 评论 -
查看Hadoop的版本号
hadoop version原创 2022-06-17 10:49:33 · 3635 阅读 · 0 评论 -
Hadoop试题解析
单选 1. 下列哪个属性是mapred-site.xml中的配置?( C ) A.dfs.replication B.fs.fsdefaultFS C.mapreduce.framework.name D.yarn.resourcemanager.address A: 设置副本数 hdfs-site.xml B:设置namenode节点对应的主机 core-site.xml C:指定MapReduce所依赖...原创 2022-01-07 15:21:45 · 4316 阅读 · 0 评论