- 博客(12)
- 资源 (7)
- 收藏
- 关注
转载 Hadoop NameNode 高可用 (High Availability) 实现解析
原文地址点击此处NameNode 高可用整体架构概述在 Hadoop 1.0 时代,Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题,这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 就无法访问,同时 Hadoop
2017-05-31 23:10:44 840
转载 ZooKeeper与NanmeNode的HA的一些理解,包括hdfs zkfc -formatZK的作用等。但与DN无关
原文地址1 原文地址2本文只说理论,不设计如何配置和部署这些实例0、引子zkfc是什么? ZKFailOverController主要作用:作为一个ZK集群的客户端,用来监控NN的状态信息。谁会用它? 每个运行NN的节点必须要运行一个zkfc有啥功能?Health monitoringzkfc定期对本地的NN发起health-che
2017-05-29 00:55:33 5242
原创 Hadoop 2.8 的namenode 从单点向双namenode的HA的升级过程,含wordcount验证
配置双namenode的目的就是为了防错,防止一个namenode挂掉数据丢失,具体原理本文不详细讲解,这里只说明具体的安装过程。Hadoop HA的搭建是基于Zookeeper的,关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ,本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装
2017-05-27 16:05:57 1859 2
原创 CentOs6.7 + hadoop2.8 安装
一、环境与软件首先,要安装centos操作系统,为系统安装配置ip、配置/etc/hosts文件下的相关主机信息。配置namenode和datanode之间的无ssh验证的登录方式。以及后面的必要软件(java\glibc、解压安装hadoop)这些东西都是参照《细细品味hadoop hadoop集群第五集》操作的。然后,重点在于hadoop的一系列的配置文件的配制方法也基本可以参照这
2017-05-23 15:54:23 3098
原创 由一个HADOOP_HOME and hadoop.home.dir are unset报错引起的window环境连接调试远程hadoop的一系列问题,hadoop版本 2.8
一、结论先说结论。最后问题解决了。终于能在windows的eclipse上通过执行wordcount类,然后将某个文档内容处理后,将结果传到远程服务器的hadoop的某个文件夹下了。二、当时的环境我已经在linux服务器上安装了分布式的hadoop环境,一namenode两datanode。而且已经在linux服务器上测试过hadoop2.8自带的wordcount的jar
2017-05-23 14:37:53 39228 6
转载 单点登录原理与简单实现
原文地址点击此处一、单系统登录机制1、http无状态协议 web应用采用browser/server架构,http作为通信协议。http是无状态协议,浏览器的每一次请求,服务器会独立处理,不与之前或之后的请求产生关联,这个过程用下图说明,三次请求/响应对之间没有任何联系但这也同时意味着,任何用户都能通过浏览器访问服务器资源,如果想保护服务器的某些资
2017-05-19 10:03:15 446
原创 一次失败的hadoop集成eclipse的测试
1、真可谓步步该灾处处有难啊。。。 2、代码如下package com.xx.hadoop.test.wordcount;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hado
2017-05-17 15:47:30 2088 1
原创 Hadoop2.8 安装心得
一、安装jdk,安装hadoop以及配置ssh无密码登录的过程就跳过了,这部分可以参考《细细品味hadoop》来进行 区别在于,细细品味是以1.x为标杆编写的。 二、2.x的最大进步在于,引入了yarn,在这个系统中,mapreduce成为了它的一个组件而存在,并且是可替换的组件。比如使用spark。所以配置的过程中,需要注意yarn的相关配置文件的使用
2017-05-16 20:10:16 8959 2
原创 CentOs 6.5安装telnet和xinetd一句话介绍
一,先检查CentOS7.0是否已经安装以下两个安装包:telnet-server、xinetd。命令如下: rpm -qa telnet-server rpm -qa xinetd。如果没有进行第二步二、yum list |grep telnet,查看可安装的版本都有啥 telnet-server.x86_64 1:
2017-05-12 16:53:27 3234
转载 win10怎么彻底卸载oracle11g
原文地址点击此处以下操作供参考:完全卸载oracle11g步骤:1、 开始->设置->控制面板->管理工具->服务 停止所有Oracle服务。2、 开始->程序->Oracle - OraHome81->Oracle Installation Products-> Universal Installer,单击“卸载产品”-“全部展开”,选中除“OraDb11g_home1”
2017-05-04 22:23:53 8244
转载 趣味CDN,一句话CDN
原文地址点击此处CDN的降价潮和撕逼季已过,终于轮到小黑羊来做个科普啦。这事儿,要从西游记取经开始……1300年前,唐僧师徒取经要跋涉十万八千里,历经九九八十一难,一路打怪升级,最终才能修成正果,悟空加冕“斗战胜佛”。1300年后,西游互联网已经开通,雷音寺官网上线,取经只需打开网站,点击下载,凡夫俗子也可以轻易取得真经。初时,唐僧师徒觉
2017-05-04 18:36:02 772
转载 Window10下安装 mysql5.7图文教程(解压、安装通用版)
原文地址点击此处1. 解压mysql-5.7.11-winx64.zip 到某文件夹, 如C:\DevelopCommon\mysql-5.7.11-winx64。2. 配置环境变量 变量名 : MYSQL_HOME变量值 : C:\DevelopCommon\mysql-5.7.11-winx64变量名 : Path变量值 : %MYSQL
2017-05-01 22:06:04 713
httpClient用到的jar包
2015-06-08
dark亲测可用的一个swfupload与java整合的小例子
2015-03-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人