Hadoop
Studying Zhou
毕业于南京工业大学 现滴滴任职资深数据仓库开发工程师
展开
-
Hadoop YARN基本组成结构
https://www.cnblogs.com/oraclestudy/articles/5684899.html转载 2019-01-04 11:16:39 · 160 阅读 · 0 评论 -
Hadoop技术之Hadoop HA 机制学习
https://www.cnblogs.com/qcloud1001/p/7693476.html转载 2019-04-17 10:17:04 · 98 阅读 · 0 评论 -
hadoop安装
https://www.cnblogs.com/sunny3096/p/7513356.html转载 2019-04-01 16:17:59 · 72 阅读 · 0 评论 -
MapReduce解析
1.1 MapReduce是什么Hadoop MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上,并以一种可靠的,具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词,一是软件框架,二是并行处理,三是可靠且容错,四是大规模集群,五是海量数据集。1.2 MapReduce做什么MapReduce擅...转载 2019-02-27 12:02:15 · 306 阅读 · 0 评论 -
hadoop配置文件详解、安装及相关操作
一、 Hadoop伪分布配置 1. 在conf/hadoop-env.sh文件中增加:export JAVA_HOME=/home/Java/jdk1.6 2. 在conf/core-site.xml文件中增加如下内容: <name>fs.default.name</name> <...原创 2019-02-28 18:01:21 · 219 阅读 · 0 评论 -
数据仓库知识之ODS/DW/DM
https://blog.csdn.net/xingchaojun/article/details/81124323转载 2019-01-09 17:41:57 · 1198 阅读 · 0 评论 -
《hadoop学习》关于hdfs中的core-site.xml,hdfs-site.xml,mapred-site.xml文件配置详解
https://www.cnblogs.com/forget-me-not/p/5710122.html转载 2019-01-08 09:32:50 · 908 阅读 · 0 评论 -
【Hadoop】HDFS的运行原理
https://www.cnblogs.com/laov/p/3434917.html转载 2018-12-26 11:38:46 · 89 阅读 · 0 评论 -
Hadoop- MapReduce分布式计算框架原理
https://www.cnblogs.com/RzCong/p/7362352.html转载 2018-12-26 11:33:28 · 179 阅读 · 0 评论 -
深入理解HDFS的架构和原理
https://blog.csdn.net/kezhong_wxl/article/details/76573901转载 2019-01-04 11:17:08 · 99 阅读 · 0 评论 -
Hdfs block数据块大小的设置规则
Hdfs block数据块大小的设置规则1.概述hadoop集群中文件的存储都是以块的形式存储在hdfs中。2.默认值从2.7.3版本开始block size的默认大小为128M,之前版本的默认值是64M.3.如何修改block块的大小?可以通过修改hdfs-site.xml文件中的dfs.blocksize对应的值。注意:在修改HDFS的数据块大小时,首先停掉集群hadoop的运行...原创 2019-06-28 16:12:28 · 2349 阅读 · 0 评论