Hadoop
文章平均质量分 86
jing静~
学习记录本希望以后自己回看的话能够有所感悟
展开
-
Hadoop大数据的有一些知识点分享给大家~~~
ZooKeeper是一个为分布式应用提供协调服务的开源中间件。在单机模式下部署ZooKeeper时,该服务器确实会提供ZooKeeper所需的全部协调服务,但这种配置通常仅用于测试和开发环境,因为单机模式不具备高可用性和容错能力。在单机模式下,ZooKeeper服务器的配置文件(通常是`zoo.cfg`)会指定一个单一的ZooKeeper服务器实例。此服务器管理一个ZooKeeper服务实例,包括处理客户端请求、维护状态信息和执行所有协调任务。原创 2024-05-27 18:27:55 · 972 阅读 · 0 评论 -
hadoop大数据的一些知识点--Map reduce编程
例如,YARN Web调度器界面效果图如图4-7所示,从图4-7中可以看出,当前YARN上正在运行着一个应用程序“wordcount”,其Application Type为“MAPREDUCE”,采用的调度器为容量调度器Capacity Scheduler,YARN调度器的工作就是根据既定策略为应用程序分配资源,当前正在使用的Container有4个,共分配的CPU为4核,内存为5120M。从页面上,管理员能看到“集群统计信息”、“应用程序列表”、“调度器”等功能模块,此页面支持读,不支持写。原创 2024-05-11 09:11:34 · 570 阅读 · 2 评论 -
hadoop大数据原理与应用------初识Hadoop数据集
这样,整个集群就可以协同工作,处理大数据集的计算和存储任务。在执行`start-dfs.sh`之前,需要确保Hadoop的配置文件已经正确设置,包括`hdfs-site.xml`、`core-site.xml`等,并且集群中的所有节点都能够相互通信。在这个例子中,`hadoop-master`、`hadoop-slave1`和`hadoop-slave2`是分配给各个节点的主机名,而`192.168.1.100`、`192.168.1.101`和`192.168.1.102`是这些节点的IP地址。原创 2024-04-20 13:09:21 · 1074 阅读 · 2 评论 -
hadoop大数据原理与应用-----初识hadoop习题集
在部署伪分布式模式的Hadoop集群时,`hdfs-site.xml`中的`dfs.replication`配置项决定了HDFS(Hadoop Distributed File System)中文件的副本数量。但是,对于大规模数据处理和Hadoop集群的部署,Linux通常是首选平台,因为它提供了更好的性能、稳定性和对Hadoop的支持。Hadoop的配置文件主要是`hadoop-env.sh`和`yarn-env.sh`,这两个文件位于Hadoop安装目录的`etc/hadoop`目录下。原创 2024-04-20 12:51:37 · 729 阅读 · 2 评论