hadoop
hadoop安装与相关组件
leader321
这个作者很懒,什么都没留下…
展开
-
mapreduce实例WordCount
需求:统计一个文件中每一个单词出现的总次数。 案例数据: 使用 idea 创建 maven 工程,添加依赖如下: pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http:/原创 2020-12-08 17:26:30 · 807 阅读 · 0 评论 -
MapReduce(更新中)
MapReduce MapReduce是一个分布式计算框架 作用:将大型数据操作作业分解为可以跨服器执行的单个任务 使用场景:需要大规模数据处理的场景 每个节地处理存储在该节点的数据 设计思想:移动数据不如移动计算,简化并行计算的编程模型 MapReduce特点 优点: 不适用场景: 难以实时计算(适合离线计算) (流式计算:一次处理一条数据) MapReduce实现WordCount ...原创 2020-12-08 17:37:37 · 783 阅读 · 0 评论 -
Zookeeper
Zookeeper数据结构原创 2020-12-07 13:39:33 · 735 阅读 · 0 评论 -
hadoop-yarn
分布式资源调度框架YARNyarnyarn工作机制yarn yarn 架构(master/slaves) 组件: ResourceManager(ApplicationManager | ResourceScheduler) NodeManager Applicationmaster Container yarn工作机制 yarn原创 2020-12-07 20:13:16 · 757 阅读 · 0 评论 -
hadoop分布式环境搭建(持续更新中)
Hadoop运行环境搭建 虚拟机环境准备 准备一台虚拟机,操作系统centos7.x 配置虚拟机的静态ip 修改主机名为hadoop101并进行端口映射 vi /etc/hostname single vi /etc/hosts 192.168.184.200 single —注意重启 reboot 关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service 配置时钟同步 时间服务器配置(必须root原创 2020-11-30 11:35:11 · 801 阅读 · 0 评论 -
Hadoop
HDFSHadoop环境搭建HDFS架构原理HDFS基本文件操作命令 Hadoop环境搭建 HDFS架构原理 HDFS基本文件操作命令原创 2020-12-02 19:27:22 · 838 阅读 · 1 评论