杨福星
^_^o~ 努力!
展开
-
hadoop平台之——下架节点服务器
一、背景hadoop版本为hadoop2.6;系统centos6.5;集群数:十台服务器(一个master,九个slave); 二、目标1、 动态下架4台节点服务器,而不选择直接暴力下架,是因为动态下架可让被下架节点数据可迁移;三、步骤1、准备工作:分别在hdfs-site.xml与core-site.xml文件里(这两个文件位于/usr/local/hadoop/etc/hadoop/内)添原创 2016-07-17 22:44:42 · 1654 阅读 · 0 评论 -
搭建Hadoop平台(二)之SSH免密码登录配置及相关问题处理
[原创地址](http://blog.csdn.net/luckystar92)一、Master节点配置1、rpm -qa | grep ssh #检测是否安装过ssh client与ssh server(有如下信息就无需安装ssh了)2、显示如下类似信息,表示已安装:3、若需要安装,则(此教程是centos的):sudo yum install openssh-clientssudo yum原创 2016-04-28 13:49:12 · 4511 阅读 · 0 评论 -
搭建Hadoop平台(一)之配置用户名及hosts文件
一、修改主机名1、hostname命令查看当前主机名2、sudo vi /etc/sysconfig/network 修改主机名3、进入vi模式,按键i,修改hostname那栏信息,如下图:4、按键Esc,输入“:wq!”保存,退出vi二、添加hadoop用户1、su # 以 root 用户登录2、useradd -m hadoop -s /bin/bash # 创建新用户hadoop3、pa原创 2016-04-28 13:02:03 · 9022 阅读 · 0 评论 -
hadoop无法正常关闭尝试处理方法
一、背景1.因系统跑程序一直在存储数据,导致主节点本地存储空间空闲为零。hadoop平台出现异常,主节点ssh从节点出现要输入密码的情况:2.且通过正常关闭方法无法关闭hadoop,会报以下错误:二、解决方案1、ssh node2分别检测master连通其余从节点的无密码登录ssh有无问题,若有请按照博文里解决方案处理ssh问题解决链接2、登录每一个从节点,通过输入jps查看从节点状态;若出现有da原创 2016-07-08 22:36:53 · 2434 阅读 · 0 评论 -
机架感知(Rack Awareness)机制浅述
【转】http://www.dataguru.cn/article-2532-1.html机架感知(RackAwareness)通常,大型Hadoop集群会分布在很多机架上。在这种情况下, -- 希望不同节点之间的通信能够尽量发生在同一个机架之内,而不是跨机架。 -- 为了提高容错能力,名称节点会尽可能把数据块的副本放到多个机架上。综合考虑这转载 2017-09-20 21:50:57 · 1007 阅读 · 1 评论 -
深入理解Hadoop集群和网络
本文将着重于讨论Hadoop集群的体系结构和方法,及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。原文链接:http://bradhedlund.com/2011/09/10/understanding-hadoop-clusters-and-the-network/云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由De转载 2017-09-19 21:48:59 · 1202 阅读 · 0 评论 -
Apache™ Hadoop®
官网地址:http://hadoop.apache.org/一 Hadoop是什么一. Hadoop是什么呢?Apache™ Hadoop®的项目开发开源软件可靠,可扩展,分布式计算。Apache Hadoop 软件库是一个允许跨集群用简单的模型对于大数据的分布式处理的框架。它的目的是扩大从单一服务器到成千上万的机器,提供每个本地翻译 2017-09-21 11:33:48 · 546 阅读 · 0 评论