BigData
imarklei
不断积累,脚踏实地
淡定点,好好写代码
展开
-
开源大数据处理引擎汇总(一)
查询引擎一、Phoenix贡献者::Salesforce简介:这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HB转载 2016-06-26 17:17:31 · 10053 阅读 · 0 评论 -
开源大数据处理工具汇总(二)
日志收集系统一、Facebook Scribe贡献者:Facebook简介:Scribe是Facebook开源的日志收集系统,在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个中央存储系统(可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。当中央存储系统转载 2016-06-26 17:20:09 · 3442 阅读 · 0 评论 -
Scala_(1)_基础
1.函数sum(1 to 100:_*)// 提取出1-100中的所有元素,并实现sum操作2.lazy只有在初次运行时调用如:lazy val content = fromFile(path)3.集合val arr = new Array[Int](5)4.高阶函数arr.filter(_%2 == 0).map(i =>i * i原创 2017-05-18 10:10:07 · 530 阅读 · 0 评论 -
Scala_(2)_面向对象
1.类class HiScala{private var name="Spark"def sayName(){...}def getName = name}创建实例:new HiScala暴露get 方法的两种方式:①class HiScala{private var myName = "flink"原创 2017-05-18 10:11:30 · 275 阅读 · 0 评论 -
Scala_(3)_函数式编程
一、Scala函数式编程1.函数定义及赋值给变量def fun1(name : String){printf("test")}// 函数定义fun1 : (name:String) Unitval fun1_v = fun1 _ //函数赋值给变量fun1_v :String => Unit = 2.匿名函数val fun = (conten原创 2017-05-18 15:10:11 · 311 阅读 · 0 评论 -
Scala_(4)_模式匹配
一、Scala模式匹配源码:Master①def bigdata(data:String){data match{case "Spark" => print("")case "Hadoop" =>print("")case _ => print("")}}②def bigdata(data:String,age:Int){原创 2017-05-18 15:11:36 · 381 阅读 · 1 评论 -
Scala_(5)_隐式转换|并发编程
一、隐式转换1.语法:implicit def xxxToxxx()代码1:class Person(val name : String)class Engineer(val name : String, val salary : Double){ def code = println("coding.....")}implicit def person2Eng原创 2017-05-18 15:13:05 · 670 阅读 · 1 评论