Scala 文件操作

1.写入文件1.FileWriter专门用于处理文件的字符写入流对象import java.io.FileWriter println(Try{ val out = new FileWriter("/home/hadoop3/file/num1.txt",true) ...

2015-12-31 15:17:30

阅读数:9125

评论数:1

Java是如何读到hbase-site.xml 的内容的

Java是如何读到hbase-site.xml 的内容的Java客户端使用的配置信息是被映射在一个HBaseConfiguration 实例中. HBaseConfiguration有一个工厂方法, HBaseConfiguration.create(); 运行这个方法的时候,他会去CLAS...

2015-12-30 19:12:18

阅读数:2163

评论数:1

tmp_table_size and max_heap_table_size

MySQL查询缓存设置 提高MySQL查询性能

2015-12-30 11:15:37

阅读数:515

评论数:0

TP FN FP TN

Rachel-Zhang写的TP FN FP TN ROC True Positive (真正, TP)被模型预测为正的正样本;可以称作判断为真的正确率True Negative(真负 , TN)被模型预测为负的负样本 ;可以称作判断为假的正确率False Positive (假正, FP)被...

2015-12-28 19:58:36

阅读数:10157

评论数:0

Scala 继承

摘自《快学Scala》0.重点 extends,final关键字和Java中相同 重写方法时必须用override 只有主构造器可以调用超类的主构造器 可以重写字段 本章只探讨类继承自另一个类的情况 1.扩展类class Employee extends Person{ var salar...

2015-12-24 16:27:30

阅读数:325

评论数:0

Scala 当用到.contains() .exists()的性能问题

SCALA: Which data structures are optimal in which siutations when using “.contains()” or “.exists()”? Q: 当用到”.contains()”或”.exists()”时,哪种数据结构的性能是最好的...

2015-12-21 13:26:08

阅读数:6082

评论数:0

Scala case类

探索Scala(4)– Case ClassesCase ClassCase class是Scala语言模式匹配功能(pattern match )的基础。如果类定义的时候加上case关键字,那么它就变成了Case Class.

2015-12-19 22:40:21

阅读数:828

评论数:0

Scala List

Scala里List的设计 Scala List Scala中Array和List的区别 Scala API文档——ListScala中列表非常类似于数组,这意味着,一个列表的所有元素都具有相同的类型,但有两个重要的区别。首先,列表是不可变的,这意味着一个列表的元素可以不被分配来改变。第二,...

2015-12-18 16:16:37

阅读数:365

评论数:0

Scala aggregate

1.Spark函数讲解:aggregate 2.Example of the Scala aggregate function1.Spark函数讲解:aggregate函数原型:def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) =>...

2015-12-17 21:35:54

阅读数:2807

评论数:0

Scala StatCounter类

Scala StatCounter1.Instance Constructorsnew StatCounter() //初始化StatCounter() new StatCounter(values:TraversableOnce[Double]) //用给定的值实例化StatCounter,Tr...

2015-12-16 16:03:28

阅读数:1144

评论数:0

Spark map flatMap

Spark 中 map 与 flatMap 的区别 简而言之,flatMap是在map的基础上合并数据。通过一个实验来看Spark 中 map 与 flatMap 的区别。步骤一:将测试数据放到hdfs上面hadoopdfs -put data1/test1.txt /tmp/test1.txt...

2015-12-15 16:23:08

阅读数:681

评论数:0

Scala pair RDD 统计均值,方差等

val conf = new SparkConf().setAppName("hh") conf.setMaster("local[3]") val sc = new SparkContext(conf)val data = sc.textF...

2015-12-15 10:57:49

阅读数:7616

评论数:0

Scala PrefixFilter

How to read from hbase using sparkTableInputFormat has the following attributes:SCAN_ROW_START SCAN_ROW_STOP conf.set(TableInputFormat.SCAN_ROW_START...

2015-12-14 22:33:34

阅读数:603

评论数:0

Scala Spark 求众数

1.数据格式1 2 3 1 4 5 4 5 6 4 7 8 7 8 9 10 11 12 10 13 14 10 1 2 1 100 100 10 11 2 10 11 2 1 2 5 4 7 62.程序val co...

2015-12-14 21:53:21

阅读数:1851

评论数:0

pair RDD groupByKey countByKey countByValue aggregateByKey reduceByKey 测试

val d = sc.makeRDD(Array(1,2,3,4,5,1,3,5)) val dd = d.map(x=>(x,1)) //构造pair RDD, dd:RDD[(Int,Int)] 1.groupByKey val dg = dd.groupByKey() //dg :...

2015-12-14 19:42:44

阅读数:7710

评论数:0

Vectors.dense()

import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.mllib.stat.Statistics val rdd = sc.makeRDD(Array(Array(1.0,10.1,2.5),Arra...

2015-12-12 15:00:49

阅读数:5277

评论数:0

Spark Working with Key/Value Pairs

Chapter 4. Working with Key/Value PairsKey/Value RDDs are commonly used to perform aggregations(聚合),and often we will do some initial ETL(extract, tr...

2015-12-11 22:35:50

阅读数:1732

评论数:0

Scala MD5

参考: * MD5 in Scala * MD5 hashing * Scala-MD5 Hash function for Scala console * Scala - converting array to map * Scala,importing class1.MD5//way...

2015-12-10 23:27:12

阅读数:6306

评论数:0

Scala 包和引入

摘自《快学Scala》0.重点 包可以像内部类那样嵌套 包路径不是绝对路径 包声明链x.y.z并不自动将中间包x和x.y变成可见 位于文件顶部不带花括号的包声明在整个文件范围内有效 包对象可以持有函数和变量 引入语句可以引入包,类和对象 引入语句可以出现在任何位置 引入语句可以重命名和隐藏特定成员...

2015-12-10 22:22:59

阅读数:897

评论数:0

HBase master stops with “Connetion Refused” Error

HBase master stops with “Connetion Refused” ErrorHOW TO CONFIGURE HBASE IN PSEUDO DISTRIBUTED MODE ON A SINGLE LINUX BOX If you have successfully co...

2015-12-09 14:15:49

阅读数:3486

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭