Hadoop
陆山右
志存高远 脚踏实地
观抑扬褒贬 座中常有剧中人
展开
-
Hadoop伪分布式的安装!!
软江的安装目录: /opt/modules/安装前的准备1、关闭和禁用SELinux# systemctl stop firewalld# service iptables stop# vim /etc/sysconfig/selinux 设置SELINUX=disabled2、 置静态IP地址# vi /etc/sysconfig/network-scripts/if...原创 2018-11-19 19:22:31 · 115 阅读 · 0 评论 -
HDFS副本放置策略和机架感知
备注:次博客转载,原地址点击此处 副本放置策略的副本放置策略的基本思想是: 第一block在复制和client哪里node于(假设client它不是群集的范围内,则这第一个node是随机选取的。当然系统会尝试不选择哪些太满或者太忙的node)。 第二个副本放置在与第一个节点不同的机架中的node中(随机选择)。 第三个副本和第二个在同一个机架,随机放在不同的node中。...转载 2018-12-27 16:09:40 · 613 阅读 · 0 评论 -
Hadoop版本和生态系统
原创 2018-12-27 09:12:15 · 288 阅读 · 0 评论 -
Hadoop的学习笔记(Hive|pig|zookeeper|hbase)
hadoop笔记本 [该笔记的转载地址:](https://www.cnblogs.com/ggjucheng/archive/2012/04/22/2465625.html)<div class="postText"> <div id="cnblogs_post_body" class=&am转载 2018-11-30 18:56:24 · 372 阅读 · 0 评论 -
MapReduce程序的读写过程
问题导读1、HDFS框架组成是什么?2、HDFS文件的读写过程是什么?3、MapReduce框架组成是什么?4、MapReduce工作原理是什么?5、什么是Shuffle阶段和Sort阶段?1.gif (12.87 KB, 下载次数: 4)下载附件 保存到相册2015-10-8 20:58 上传HDFS采用master/slaver的主从架构,一个HDFS集群包括一个NameNode...转载 2018-11-30 16:52:15 · 2391 阅读 · 0 评论 -
##MapReduce的二次排序
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_39532946/article/details/76467806 为什么需要二次排序?在MapReduce操作时,我们知道传递的<key,value>会按照key的大小进行...转载 2018-11-30 16:38:34 · 243 阅读 · 0 评论 -
*****Hadoop的Mapreduce的shuffle过程!!
博客园 首页 新随笔 联系 管理 订阅 <div class="blogStats"> <div id="blog_stats">随笔- 562 文章- 0 评转载 2018-11-23 08:38:34 · 270 阅读 · 0 评论 -
安装HDP 商业平台安装报错 500 status code received on DELETE method for API :/api/v1/clusters/bigdata
原创 2018-08-12 18:37:57 · 2277 阅读 · 7 评论 -
JSONObject和JSONArray的区别和基本用法
JSONObject和JSONArray区别及基本用法 一、JSONObject和JSONArray的数据表示形式JSONObject的数据是用 { } 来表示的, 例如: { "id" : "123", "courseID" : "huangt-test", &q转载 2018-11-30 10:22:57 · 6119 阅读 · 1 评论 -
MapReduce起源 and原理
Hadoop的思想来源于Google的几篇论文,论文中写道,MapReduce的灵感来源于函数式语言(Lisp)中的内置函数Map和Reduce。简单来说,在函数式语言里,Map表示对一张列表(List)中的每个元素进行计算,Reduce表示对一张列表中的每个元素进行迭代计算。它们具体的计算是通过传入的函数实现的,而Map和Reduce提供的是计算的框架。不过,从这样的解释到现实中的MapRedu...原创 2019-01-29 16:52:20 · 1761 阅读 · 0 评论