![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
铁憨憨丶
这个作者很懒,什么都没留下…
展开
-
CDH6.3安装
文章目录安装说明步骤说明下载CDH和CM环境准备网络名称修改关闭防火墙、禁止防火墙开机自启关闭 SELinux mode禁用透明页修改最大文件数安装jdk安装数据库全部删除MySQL/MariaDB(新机器直接跳过此步)增加mariaDB的yum源设置密码创建CDH数据库配置CM Server数据库CDH安装配置本地yum仓库 (manager节点)安装Cloudera Manager配置parc...原创 2020-03-18 20:53:58 · 2327 阅读 · 0 评论 -
MapReduce 编程规范及示例编写
MapReduce 编程规范及示例编写1.1编程规范 编程规范(1) 用户编写的程序分成三个部分:Mapper,Reducer,Driver(提交运行mr 程序的客户端)(2)Mapper 的输入数据是 KV 对的形式(KV 的类型可自定义)(3)Mapper 的输出数据是 KV 对的形式(KV 的类型可自定义)(4)Mapper 中的业务逻辑写在 map()方法中(5)map()方法(mapt...原创 2018-06-06 22:49:15 · 1501 阅读 · 0 评论 -
HDFS元数据管理
1.元数据管理概述> HDFS分类-类型分包括以下几部分文件、目录自身的属性信息,例如文件名,目录名,修改信息等 文件记录的信息的存储相关的信息,例如存储块信息,分块情况,副本个数等 记录 HDFS 的 Datanode 的信息,用于 DataNode 的管理。> 按形式分内存元数据 内存 元数据文件两种 磁盘> HDFS 磁盘上元数据文件分为两类...原创 2018-11-06 15:15:58 · 969 阅读 · 0 评论 -
hadoop整理
hadoop核心模块 hadoop Common:hadoop常用的工具类,由原来的Hadoop core部分更名而来 Hadoop Distributed File System(HDFS):分布式文件系统,提供对应用程序数据的高吞吐量,高伸缩性,高容错性访问。Hadoop体系中数据存储管理的基础 Hadoop YARN:任务调度和集群资源管理 Hadoop MapReduce:基...原创 2018-11-06 15:22:22 · 284 阅读 · 0 评论 -
hadoop单机版腾讯云安装
创建日期: 2019/03/14 17:40创建人: yangyidong腾讯云安装环境更改主机名创建hadoop用户安装jdk配置环境变量免密码ssh设置安装下载hadoop-2.7.7创建hdfs中namenode,datanode的存储位置配置环境变量配置Configuration文件启动hadoopjps查看一旦Hadoop集群启动并运行,请检查组件的web-ui成功登陆安装成功~h...原创 2019-03-16 12:02:28 · 563 阅读 · 0 评论