![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 95
小财迷,嘻嘻
这个作者很懒,什么都没留下…
展开
-
数据仓库环境部署
目录一、Docker安装1.1 Centos Docker安装1.2 Ubuntu Docker安装【推荐】1.3 MacOs Docker安装1.4 Windows Docker安装【不推荐】二、容器准备2.1 拉取镜像2.2 启动并创建容器2.3 进入容器三、环境准备3.1 安装必要软件3.2 配置SSH免密登录3.3 设置时区3.4 关闭防火墙四、MySQL安装4.1 上传解压安装包4.2 安装必要依赖4.3 安装服务端和客户端4.4 启动并配置MySQL五、安装JDK5.1 上传并解压5.2 配置环原创 2021-03-04 09:01:08 · 704 阅读 · 1 评论 -
yarn作业提交过程以及常用命令
1、yarn简介1、Hadoop1.x版本中最大的问题是资源问题对数据的处理和资源调度主要依赖MapReduce完成,只能运行MapReduce程序JobTracker负责资源管理和程序调度,压力较大2、Hadoop2.x版本添加YARN主要负责集群资源管理3、YARN(Yet Another Resource Negotiator)核心思想是将资源管理和任务的监控和调度分离通用的资源管理系统,可为不同的应用(MapReduce、Spark、Flink等)提供统一的资源管理和调原创 2020-12-14 17:24:38 · 987 阅读 · 0 评论 -
MapReduce运行原理
目录1、MapReduce工作流程1.1 split 阶段1.2 map 阶段1.3 Shuffle 阶段(面试重点)1.4 Reduce 阶段1.5 注意2、切片规则2.1 切片流程2.2 切片大小参数设置2.3 FileInputFormat默认切片规则3、MapTask机制3.1 并行度决定机制3.2 MapTask工作机制4、Shuffle机制5、ReduceTask工作机制1、MapReduce工作流程流程示意图:1.1 split 阶段首先 mapreduce 会根据要运行的大文件来原创 2020-12-06 20:26:53 · 194 阅读 · 0 评论 -
Hadoop序列化对象操作(含MapReduce编程实例)
1、基本概念序列化(Serialization)是指把结构化对象转化为字节流。反序列化(Deserialization)是序列化的逆过程。把字节流转为结构化对象。当要在进程间传递对象或持久化对象的时候,就需要序列化对象成字节流, 反之当要将接收到或从磁盘读取的字节流转换为对象,就要进行反序列化。Java 的序列化(Serializable)是一个重量级序列化框架,一个对象被序列化后,会附带很多额外的信息(各种校验信息,header,继承体系…),不便于在 网络中高效传输;所以,hadoop自己开发原创 2020-12-02 22:34:40 · 401 阅读 · 1 评论 -
MapReduce原理及编程(含词频统计编程实例)
1、MapReduce基础1、什么是MapReduce是一个分布式计算框架,它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务;适用于大规模数据处理场景;每个节点处理存储在该节点的数据。2、MapReduce的设计思想1、分而治之简化并行计算的编程模型2、构建抽象模型map和reduce开发人员专注于实现Mapper和Reducer函数3、隐藏系统层细节开发人员专注于业务逻辑实现3、MapReduce特点1、优点易于编程可扩展性高容错性高吞吐量2、不适用领域难原创 2020-09-10 19:48:47 · 3254 阅读 · 0 评论 -
HDFS文件Shell操作命令
基本格式:hdfs dfs -cmdhadoop fs -cmd(已过时)查看可用命令:hdfs dfs[root@hadoop60 ~]# hdfs dfsUsage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] #追加文件 [-cat [-ignoreCrc] <src> ...] #查看文件内容 [-c原创 2020-12-01 18:49:05 · 339 阅读 · 0 评论 -
zookeeper安装及配置(含时间同步)
一、搭建集群假设三台机器搭建集群:1、复制虚拟机1、虚拟机关机状态,右击,管理–>克隆–>下一步–>虚拟机中的当前状态–>创建完整克隆–>虚拟机名称及位置自己定–>完成;2、进入克隆的虚拟机,输入用户名密码后,需要进去改ip地址并重启网络,如下:输入命令:vi /etc/sysconfig/network-scripts/ifcfg-ens33;更改ip地址:原ip更改最后一位即可,比如30改为31;保存并退出: :wq重启网络:systemctl re原创 2020-10-04 13:48:27 · 864 阅读 · 0 评论