- 博客(6)
- 收藏
- 关注
RSS订阅原创 spark streaming 错误集锦
问题1：No output streams registered, so nothing to execute解决原因：没有触发DStream需要的aciton 解决方法：使用以下方法之一触发：print()foreachRDD()saveAsObjectFiles()saveAsTextFiles()saveAsHadoopFiles()
2015-05-27 12:39:47
8092
原创 sealed trait Scala学习笔记-面向对象篇
被sealed 声明的 trait仅能被同一文件的的类继承。 除了这个，我们通常将sealed用于枚举中，因为编译器在编译的时候知道这个trait被哪些类继承过，因此我们在match时对sealed trait进行case 的时候，如果你没有判断全部编译器在编译时就会报错。下面举例：在Person.class文件中：sealed trait Personcase class Teacher(n
2015-05-24 21:00:52
5616
原创 apply方法 Scala学习笔记-面向对象篇
刚入门scala时，发现scalal中很少使用new来产生对象，比如我们在使用Array的时候：val array:Array[Int] = Array(1,2,3,4,5,6,7,8,9)你会发现，Array[Int]对象已经莫名其妙的创建好了，这与java是有较大差别的，之所以可以这样创建，是因为scala中存在apply这个方法。我们先创建一个Test对象，为他声明一个apply方法:clas
2015-05-23 14:48:07
548
原创 Tachyon0.6.4+Spark1.3+hadoop2.6.0 配置教程详解
前言本文在安装前已经配置好了spark1.3和hadoop2.6，因项目需求需要搭建tachyon，但是搭建过程中遇到了很多的问题，写下本文用来记录这一路上所踩过的坑单节点安装先说单点，单点搞定，集群就简单了 安装tachyon，官网（https://github.com/amplab/tachyon/releases）下载了最新版本的二进制包，然后按照官方的教程一步一步来，首先是配置local（
2015-05-20 11:36:35
2169
1
原创 HBase unable to create new native thread 错误解决方法
好多次向Hbase插入数据的时候（三台节点，一次性插入百万条数据），时不时的会发生：java.lang.OutOfMemoryError: unable to create new native thread内存不够了？但是我一看不对啊，内存够啊。那到底是什么原因呢？ 后来查了一下是因为线程开启过多，超过限制了，至于受哪些限制大家可以参考下面一篇文章，写的非常好： http://jzhihui
2015-05-06 17:42:37
5897
2
原创 闭包 Scala学习笔记-面向对象篇
以前一直不知道什么叫闭包，网上找了半天也没明白，只知道闭包的定义： 代码+非局部变量 = 闭包代码好理解，那什么时非局部变量呢？ 首先我们定义一个种树的方法：def plantATree(treeName:String)={ var high= 0 val taller(meter:Int)={ high += meter println("大家好，我是"+tree
2015-05-06 17:10:07
561
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人