2016年03月_qq_26091271

转载 spark+hadoop-2.6配置

1. 环境准备集群有三台机器：master：W118PC01VM01/192.168.0.112slave1：W118PC02VM01/192.168.0.113slave2：W118PC03VM01/192.168.0.114首先配置/etc/hosts中ip和主机名的映射关系：192.168.0.112 W118PC01VM01192.168.0.113 W11

2016-03-31 22:36:51 570

转载 hadoop ha

以前用hadoop2.2.0只搭建了hadoop的高可用，但在hadoop2.2.0中始终没有完成YARN HA的搭建，直接下载了hadoop最新稳定版本2.6.0完成了YARN HA及HADOOP HA的搭建流程，没有仔细看hadoop的官方文档，貌似hadoop2.2.0不支持YARN HA，如果说错了谢谢指正呀，下面总结一下我的搭建流程：首先完成虚拟机的搭建：

2016-03-26 10:46:13 296

转载 Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

阅读目录一.概述二.Hadoop（HA）集群的搭建三.集群的启动四.测试HA的高可用性一.概述1.1 hadoop1.0的单点问题Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也

2016-03-23 11:43:21 233

转载 Ubutun 下的MySQL安装

在Linux下MySQL的安装，我一直觉得挺麻烦的，因为之前安装时就是由于复杂的配置导致有点晕。今天，需要在Linux下用Qt连接MySQL。遂安装配置了一把。1）首先检查系统中是否已经安装了MySQL在终端里面输入 sudo netstat -tap | grep mysql若没有反映，没有显示已安装结果，则没有安装。若如下显示，则表示已经安装2）如果没有

2016-03-22 20:19:13 342

转载在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架

在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架友情提醒：大家最好通读一遍过后，在理解的基础上按照步骤一步一步设置，因为后面的会对前面的有所启示。一、前提条件Hadoop1.2.1分布式集群环境搭建成功，并且Hadoop集群服务器正常运行。二、所需环境和软件1. Hadoop分布式集群环境：见《在VMware下安装Ub

2016-03-21 22:22:25 339

转载 Hadoop，Zookeeper和Hbase安装

1、环境说明集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下：HostnameIP新建用户新建用户密码Master10.10.10.213hadoop123456Slave1

2016-03-20 10:14:50 374

转载如何部署hadoop分布式集群

1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，可以分成两大类角色

2016-03-19 10:04:24 559

转载 Java文件操作

一.获得控制台用户输入的信息 public String getInputMessage() throws IOException...{ System.out.println("请输入您的命令∶"); byte buffer[]=new byte[1024]; int count=System.in.read(buffe

2016-03-16 09:22:05 251

摩西YF拉比