2015年05月_wackycrazy

原创 java字符串排序

Arrays中提供了基本数据类型数组排序[java] view plaincopyString[] strs = new String[]{"abfds1", "advesd2", "dasfdsa3", "cdsaew1", "abbdsa3", "abbdsa2", "abbdsa"}; Arrays.sort(strs); for(String str :

2015-05-31 15:41:55 353

转载 hbase zookeeper 独立搭建

一、zk单独搭建 1.修改配置文件：conf/zoo.cfgJava代码 tickTime=2000 dataDir=/home/hadoop/data/zookeeper clientPort=2181 initLimit=5 syncLimit=2 server.1=slave-01:2888:3888 server.2=s

2015-05-28 14:00:15 408

转载 zookeeper使用和原理探究

zookeeper使用和原理探究（一）zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。 zookeeper安装和使用zookeeper的安装基本上可以按照 http://hadoop.a

2015-05-28 14:00:10 243

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee

2015-05-27 13:33:02 246

转载 org.apache.spark maven依赖

Maven-> org.apache.sparkorg.apache.spark maven依赖org.apache.spark/spark-core_2.10共有6个版本，总共被引用了23次被引用次数最多的版本是1.1.0，其被引用次数为8，查看引用次数柱状图。apachespark-core_2.10» 1.2.1 最后更新于2015-02-03 被中央

2015-05-18 09:44:59 6420

转载 spark streaming例子

Spark Streaming Programming GuideOverviewA Quick ExampleBasic ConceptsLinkingInitializing StreamingContextDiscretized Streams (DStreams)Input DStreams and ReceiversTransformations on DStreamsO

2015-05-18 09:41:18 2071

转载 Scala学习笔记(九) - 包和引用

Scala中的包和引用感觉上是集合了C#,Java和VB三种的基础上又进行了强化，所以看上去相当的强大与灵活，当然灵活的代价就是掌握起来会有一些复杂。首先是Scala中的包可以像Java一样使用，例如：package com.my.ioclass XXX因为Scala并不要求一个文件对应一个类，所以这种写法会把这个文件中的所有类都划给这个包。同样，因为Scala不要求文件夹的嵌

2015-05-11 10:19:48 368

转载 Scala学习笔记(七) - 继承

Scala中的继承与Java，C#的继承基本一样，感觉上更接近于C#抽象类：Scala中的抽象类依然使用abstract关键字，例如：abstract class XXX Scala中的抽象方法与普通方法的定义一样，只是不写函数体即可*定义无参方法Scala中，如果方法没有参数，则可以在定义的时候省略()，使用的时候也一样，这样的好处是访问一致性，即，客户端代码在使用的时候

2015-05-11 10:19:06 323

转载 Scala学习笔记(八) - 特质

特质 trait 是Scala中特有的一项特点，不同于C#与Java，如果一定要拿C#与Java中的某项特点作对比的话，最接近的应该是接口，但是C#与Java中的接口是不允许带有方法实现的，而Scala中的Trait是可以带有方法实现的。定义特质：预定义类是一样的只是关键字变了trait XX{def method (){ ...}}使用特质：class F exten

2015-05-11 10:18:10 284

转载 Scala学习笔记(六) - 操作符与字面量

Scala中的字面量与Java中的基本一样，只有String类型略有差别。例如：val i =1 (普通数字)val i = 0xf(16进制)val i = 35L(long)val big = 1.2345 浮点数val big = 1.2345elval big = 1.2345E45字符串：Scala中的转义字符与Java一致例如：\n 换行

2015-05-11 10:18:01 481

转载 Scala学习笔记(四) - 变量，常量，函数及类的定义

Scala的语言相对来说还是比较复杂的，所以我打算将Scala拆分成两部分来说，第一部分是传统的C类语言的结构，类，函数变量，控制语句，第二部分是Scala与其他C类语言不通的地方及特点，这样的好处是可以让大家迅速了解Scala的基本操作，但是坏处是大家可能忽视掉后面的函数式的思想，纠结啊关于类，字段和方法的定义，其实基本上与Java相似，但是却也有着一些区别。类：Scala中的类依然

2015-05-11 10:15:41 468

转载 Scala学习笔记(五) - 控制语句

与其他的C类语言一样，Scala中也有一些常用的控制语句，与其他语言不一样的是，这些控制语句也产生返回值，听着很神奇？确实是if 语句与其他语言是一样的，判断一个条件是否为真，并执行其中的一条，例如：[java] view plaincopyval maxValue = if(x>y) x else y 同样也可以使用 ! 对操作结果取反（操作符将在下

2015-05-11 10:14:52 329

转载 Scala学习笔记(三) - 基础类型

Scala中的类型相对于Java来说，与.net的想法更为接近，所有的类型都是基于一个基础类型，包括值类型也是继承自该类型；Java中值类型是语言直接提供的，这点上有点不同；类型关系图如下：其中所有类型的基类与AnyAny之后分为两个AnyVal与AnyRef其中AnyVal是所有值类型的父类型AnyRef是所有引用类型的父类型与其他语言稍微有点不同的是

2015-05-11 10:14:41 272

转载 Scala学习笔记(二) - 环境配置

这里的环境配置是基于JVM的Scala的配置，基于.net的我没安装过 ╮(╯▽╰)╭这里说的是Windows下怎么安装，ubuntu下直接 sudo apt-get install scala就可以了。首先是安装Java，并配置Java环境变量。首先下载Java安装包： Java.Oracle.com 中查找并下载，我这里下载的是最新版本。配置环境变量：在桌面我的电脑上点右键，属

2015-05-11 10:13:36 265

转载 Scala学习笔记（一）

最近一个偶然的机会让我接触到了这个神奇的语言，这个语言的是完全面向对象的，而且是函数式的，他的作者的目标是设计一种强大而又漂亮的语言（a very powerful but at the same beautifully simple language）, 同时它也可以运行在JVM上(之前可以运行在.net上，但现在不支持 ╮(╯▽╰)╭)。他可以很轻松的调用Java的包，也可以被Ja

2015-05-11 10:12:31 237

转载 Scala极速入门

定义Scala语言是一种面向对象语言，同时又结合了命令式（imperative）和函数式（functional）编程风格。官网描述：Object-Oriented Meets Functional（面向对象遇到函数式编程）。安装下载地址http://www.scala-lang.org/download/当前版本2.11.4设置环境变量?12

2015-05-11 10:10:29 326

转载使用Eclipse+maven3插件开发一个Servlet3.0的简单例子

1、打开Eclipse4.2，新建一个Maven项目　　　　1）选择maven的archetype为maven-archetype-webapp　　　　2）填写项目信息　　2、完善项目目录结构　　　　1）手工添加 src/main/java、src/test/java和src/test/resource 三个source folder，在项

2015-05-10 16:35:48 362

转载 maven3常用命令、java项目搭建、web项目搭建详细图解

------------------------------maven3常用命令---------------------------1、常用命令　　　　1）创建一个Project mvn archetype:generate -DgroupId=com.mycompany.app -DartifactId=my-app -DarchetypeArtifactId=

2015-05-10 16:34:34 269

转载 eclipse3.X集成maven3.0.4插件详细图解（安装、配置）

maven3 安装：安装 Maven 之前要求先确定你的 JDK 已经安装配置完成。Maven是 Apache 下的一个项目，目前最新版本是 3.0.4，我用的也是这个。 apache-maven3.0.4: http://download.csdn.net/detail/edward0830ly/5211168 下载完成之后将其解压，我将解压后的文

2015-05-10 16:33:24 309

转载 eclipse集成maven3后，创建java项目详细图解

1、创建一个Java项目　　　　1）File--->New--->Other--->Maven--->Maven Projet　　　　2）选择maven-archetype-quickstart　　　　　　　　　　　　　　　　3）输入项目的信息　　　　　　　　　　　　　　　　4）生成的Java项目包结构如下　　　　　　　　

2015-05-10 16:32:53 342

转载 Spark导入eclipse

用了eclipse好多年，希望可以把spark带入eclipse，然后阅读源码会方便些。~~~~(>_1 eclipse初探直接以mvn项目导入eclipse(这里指的是scala IDE，当然也可以安装scala插件到eclipse中)。然后，你懂得，项目倒是导入进来了，但是eclipse没有识别相应的package和scala文件，导致阅读的时候异常痛苦

2015-05-10 12:17:21 372

转载在myeclipse中使用Java语言进行spark Standalone模式应用程序开发

一.环境配置 Myeclipse中虽然已经集成了maven插件，但是由于这个插件版本较低，建立maven project会出现错误。解决办法：自己到官网 http://maven.apache.org/ 下载最新版本的maven插件，解压，在环境变量中注册。新建环境变量M2_HOME 在PATH里加入maven的bin的路径配置完毕后，在Windows命令提示

2015-05-10 11:48:15 1457

转载从零开始学习，Apache Spark源码走读（一）

概要本文以wordCount为例，详细说明Spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala安装sbt 安装java 启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可，假设当前目录是$S

2015-05-06 13:12:30 553

转载 spark 案例集群测试整理

时间：20150210 工作过程：今天打算使用spark 自带的案例sparkpi 对集群进行测试，主要向了解集群启动过程及机器的负载情况。没想到问题还还真不少，感谢群友，特别是hali 支持。主要的问题有3个：1.测试spark 集群与local 运行方式使用的差别及集群测试时Ip 与机器访问的处理2.spark 集群不能重启问题的处理 1。.测试spark 集群与loca

2015-05-06 12:18:37 490

wackycrazy的专栏