2017年05月_darkdragonking

11月 10月 08月 07月 06月 05月 03月 02月 01月

转载 Hadoop NameNode 高可用 (High Availability) 实现解析

原文地址点击此处NameNode 高可用整体架构概述在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop

2017-05-31 23:10:44 840

转载 ZooKeeper与NanmeNode的HA的一些理解，包括hdfs zkfc -formatZK的作用等。但与DN无关

原文地址1 原文地址2本文只说理论，不设计如何配置和部署这些实例0、引子zkfc是什么？ ZKFailOverController主要作用：作为一个ZK集群的客户端，用来监控NN的状态信息。谁会用它？每个运行NN的节点必须要运行一个zkfc有啥功能？Health monitoringzkfc定期对本地的NN发起health-che

2017-05-29 00:55:33 5242

原创 Hadoop 2.8 的namenode 从单点向双namenode的HA的升级过程，含wordcount验证

配置双namenode的目的就是为了防错，防止一个namenode挂掉数据丢失，具体原理本文不详细讲解，这里只说明具体的安装过程。Hadoop HA的搭建是基于Zookeeper的，关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建，本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装

2017-05-27 16:05:57 1859 2

原创 CentOs6.7 + hadoop2.8 安装

一、环境与软件首先，要安装centos操作系统，为系统安装配置ip、配置/etc/hosts文件下的相关主机信息。配置namenode和datanode之间的无ssh验证的登录方式。以及后面的必要软件(java\glibc、解压安装hadoop)这些东西都是参照《细细品味hadoop hadoop集群第五集》操作的。然后，重点在于hadoop的一系列的配置文件的配制方法也基本可以参照这

2017-05-23 15:54:23 3098

原创由一个HADOOP_HOME and hadoop.home.dir are unset报错引起的window环境连接调试远程hadoop的一系列问题，hadoop版本 2.8

一、结论先说结论。最后问题解决了。终于能在windows的eclipse上通过执行wordcount类，然后将某个文档内容处理后，将结果传到远程服务器的hadoop的某个文件夹下了。二、当时的环境我已经在linux服务器上安装了分布式的hadoop环境，一namenode两datanode。而且已经在linux服务器上测试过hadoop2.8自带的wordcount的jar

2017-05-23 14:37:53 39228 6

转载单点登录原理与简单实现

原文地址点击此处一、单系统登录机制1、http无状态协议　　web应用采用browser/server架构，http作为通信协议。http是无状态协议，浏览器的每一次请求，服务器会独立处理，不与之前或之后的请求产生关联，这个过程用下图说明，三次请求/响应对之间没有任何联系但这也同时意味着，任何用户都能通过浏览器访问服务器资源，如果想保护服务器的某些资

2017-05-19 10:03:15 446

原创一次失败的hadoop集成eclipse的测试

1、真可谓步步该灾处处有难啊。。。 2、代码如下package com.xx.hadoop.test.wordcount;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hado

2017-05-17 15:47:30 2088 1

原创 Hadoop2.8 安装心得

一、安装jdk，安装hadoop以及配置ssh无密码登录的过程就跳过了，这部分可以参考《细细品味hadoop》来进行区别在于，细细品味是以1.x为标杆编写的。二、2.x的最大进步在于，引入了yarn，在这个系统中，mapreduce成为了它的一个组件而存在，并且是可替换的组件。比如使用spark。所以配置的过程中，需要注意yarn的相关配置文件的使用

2017-05-16 20:10:16 8959 2

原创 CentOs 6.5安装telnet和xinetd一句话介绍

一，先检查CentOS7.0是否已经安装以下两个安装包:telnet-server、xinetd。命令如下： rpm -qa telnet-server rpm -qa xinetd。如果没有进行第二步二、yum list |grep telnet，查看可安装的版本都有啥 telnet-server.x86_64 1:

2017-05-12 16:53:27 3234

转载 win10怎么彻底卸载oracle11g

原文地址点击此处以下操作供参考:完全卸载oracle11g步骤：1、开始－＞设置－＞控制面板－＞管理工具－＞服务停止所有Oracle服务。2、开始－＞程序－＞Oracle - OraHome81－＞Oracle Installation Products－＞ Universal Installer，单击“卸载产品”-“全部展开”，选中除“OraDb11g_home1”

2017-05-04 22:23:53 8244

转载趣味CDN，一句话CDN

原文地址点击此处CDN的降价潮和撕逼季已过，终于轮到小黑羊来做个科普啦。这事儿，要从西游记取经开始……1300年前，唐僧师徒取经要跋涉十万八千里，历经九九八十一难，一路打怪升级，最终才能修成正果，悟空加冕“斗战胜佛”。1300年后，西游互联网已经开通，雷音寺官网上线，取经只需打开网站，点击下载，凡夫俗子也可以轻易取得真经。初时，唐僧师徒觉

2017-05-04 18:36:02 772

转载 Window10下安装 mysql5.7图文教程(解压、安装通用版)

原文地址点击此处1. 解压mysql-5.7.11-winx64.zip 到某文件夹，如C:\DevelopCommon\mysql-5.7.11-winx64。2. 配置环境变量变量名： MYSQL_HOME变量值： C:\DevelopCommon\mysql-5.7.11-winx64变量名： Path变量值： %MYSQL

2017-05-01 22:06:04 713