mhw666的博客

安装及配置zookeeper首先准备好你的完全分布式集群中的三台从节点虚拟机，利用xftp或命令rz上传zookeeper压缩包并压缩到你的统一解压软件目录下。小技巧：可以先配好一台虚拟机，利用命令scp发送zookeeper配置文件到另外的虚拟机。配置zookeeper环境变量vi /etc/profilesource /etc/profile配置完环境变量一定要让它生效！！！...

看这篇文章请出去跑两圈，然后泡一壶茶，边喝茶，边看，看完你就对hadoop 与MapReduce的整体有所了解了。【前言】Hadoop是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce、分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flum...

“懒人推动世界发展”IT行业能发展到如今的地步，可以说都是有这么一句话做支撑，哈哈，懒人的潜力是无限的。回顾MapReduce开发应用程序时, 需要写大量的代码. 然后就有人不想写这复杂的代码, Hive就被开发出来了. 通过编写SQL语句让Hive自动解析SQL, 然后经过一系列操作之后转换成MapReduce应用, 从而实现需求. 也就是说, Hive的出现目的就是把复杂的MapReduc...

大数据简单来说就是短时间快速的产生大量的多种多样的有价值的数据，但是这些数据的价值密度不是很高。 进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等...

SecondaryNamenode的作用是对数据进行持久化首先主节点Namenode掌握着一批元数据，那么这些数据此时是在内存里的，所以为了保证元数据的安全，就出现了将内存中的数据存放到磁盘中的一种技术，那就是持久化。断电我们经常会遇到断电的情况，当我们的集群因断电致使电脑强制关机后重新开机，计算机就会去磁盘读取元数据，恢复到断电前的状态。对于Namenode而言，他是不做持久化这个工作的...

由于Scala语言是给予Java的，所以Scala的类型转换是和Java是一样的机制。那么控制语句和Java也是大同小异的，基本思想还是相同的，只不过Scala的写法极其简单，比如它可以把一个嵌套循环带着方法体写到一行代码里，而且还带着判断语句。Scala语言中存放数据的容器除了数组和集合这些，和Java有一点不同的是，Scala有一种存储数据的容器，它叫元组，他是不可变的，有序的，不过下标是...

1. 类、方法、对象、继承、特质Scala的类与Java、C++的类比起来更简洁，学完之后你会更爱Scala！！！1.1. 类1.1.1. 类的定义package cn.bw.class_demo/**在Scala中，类并不用声明为public类型的。Scala源文件中可以包含多个类，所有这些类都具有共有可见性。*/class Person {//用val修饰的变量是可...

Scala高级特性高阶函数1.1. 概念Scala混合了面向对象和函数式的特性，我们通常将可以作为参数传递到方法中的表达式叫做函数。在函数式编程语言中，函数是“头等公民”，把函数最为参数或者是返回值是函数的函数叫高阶函数高阶函数包含：作为值的函数、匿名函数、闭包、柯里化等等。1.2. 作为值的函数可以像任何其他数据类型一样被传递和操作的函数，每当你想要给算法传入具体动作时这个特性...

首先在Idea中配置scala开发环境温馨提示:最好是用事先准备好的scala插件和scalaSDK，不要在Idea开发工具里下载,因为如果你的网不好的话，会下载的很慢Ctrl+Alt+s打开设置，搜索plugins按图中提示选择选择你的scala插件目录然后新建项目，按图中选择按图中提示选择你的scalaSDK目录这样不出意外，一个崭新的scala项目就创建好了。为什么要学...