Hadoop
傅里叶、
业精于勤荒于嬉,行成于思毁于随
展开
-
Centos7系统、Hadoop集群上部署ntp服务器
集群情况:三台机器分别:master:180.201.163.46slave1:180.201.156.76slave2:180.201.130.17网关:255.255.192.0在slave1配置ntpserver,在master和slave2上配置ntpclient。1、检查ntp软件包是否安装# rpm -qa | grep ntpntp-4.2.4p8-3....原创 2019-12-05 09:25:05 · 353 阅读 · 0 评论 -
JAVA中注释简介
SuppressWarnings,Override,Deprecated原创 2017-11-04 09:42:32 · 284 阅读 · 1 评论 -
Hadoop的NameNode与SecondaryNameNode,DataNode
Hadoop的NameNode与SecondaryNameNode,DataNode原创 2017-10-16 16:53:58 · 295 阅读 · 0 评论 -
Hadoop中Context类的作用
问题导读:1.Context能干什么?2.你对Context类了解多少?3.Context在mapreduce中的作用是什么?下面我们通过来源码,来得到Context的作用:下面主要对Setup函数进行深入探讨:首先看下两个程序的区别: 区别在于第一个程序把context这个上下文对象作为map函数的参数传到map函数中,第二个程序则是在setup函数中处理了context对转载 2017-10-14 15:55:53 · 3257 阅读 · 1 评论 -
Hadoop Yarn内存使用优化配置
第一部分Hadoop Yarn内存使用优化配置 在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度。 YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后转载 2017-10-30 08:24:47 · 574 阅读 · 0 评论 -
Yarn 内存分配管理机制及相关参数配置
理解Yarn的内存管理与分配机制,对于我们搭建、部署集群,开发维护应用都是尤为重要的,对于这方面我做了一些调研供大家参考。一、相关配置情况关于Yarn内存分配与管理,主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念,相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念,现在可以先把它理解为运行map/reduc转载 2017-10-30 08:23:03 · 230 阅读 · 0 评论 -
如何判断hadoop包tar.gz64位还是32位
1.从哪些地方可以识别hadoop是32位还是64位?2.hadoop本地库在什么位置? hadoop在安装的时候,我们需要知道hadoop版本是32位还是64位。 hadoop官网本来提供的都是32位,因为我们大部分都是64位,所以不得不编译。后来官网从hadoop2.5版本开始就提供了64位。 为了防止我们用错,下面我们来实际操作和观察。 我们来从官网下载的hadoop转载 2017-10-20 17:01:04 · 1027 阅读 · 0 评论 -
ubuntu16.04设置静态IP
配置静态IPsudo gedit /etc/network/interfacesauto ens33iface ens33 inet staticaddress 172.18.143.101netmask 255.255.255.0gateway 172.18.143.1dns-nameserver 121.251.251.251 121.251.251.250sudo /etc/init.d/networking restart原创 2017-10-20 16:48:48 · 1725 阅读 · 0 评论 -
ubuntu16.04设置ssh免密码登录
ubuntu16.04设置ssh免密码登录原创 2017-10-20 16:38:42 · 3014 阅读 · 0 评论 -
Mapreduce基本工作流程
Mapreduce基本工作流程原创 2017-09-28 07:36:52 · 6696 阅读 · 0 评论