echo_ale-CSDN博客

原创 Spark之RDD的属性

1.一组分片（Partition），即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。 2.一个计算每个分区的函数。Spark中RDD的计算是以分片为单位的，每个RDD都会实现compute函数以达到这个目的。compute函数会

2017-05-24 21:00:32 1594

原创 java线程——线程池

1.线程池：程序启动新线程要与操作系统交互，成本比较高，而使用线程池可以很好的提高性能，尤其是创建大量的短线程的时候。线程池里的每一个线程结束后，并不会死亡，而是再次回到线程池中成为空闲状态，等待下个对象来使用。 2.如何实现线程的代码呢？ A：创建一个线程池对象，控制要创建几个线程对象。 public static ExecutorService newFixedThreadPo

2017-05-16 20:45:00 300

原创 Scala之trait

1. 将trait作为接口使用 Scala中的Triat是一种特殊的概念，首先我们可以将Trait作为接口来使用，此时的Triat就与Java中的接口非常类似。在triat中可以定义抽象方法，就与抽象类中的抽象方法一样，只要不给出方法的具体实现即可。类可以使用extends关键字继承trait，注意，这里不是implement，而是extends，在scala中没有implement的概念

2017-05-15 20:36:27 1504

原创 Scala继承

1.extends Scala中，让子类继承父类，与Java一样，也是使用extends关键字继承就代表，子类可以从父类继承父类的field和method；然后子类可以在自己内部放入父类所没有，子类特有的field和method；使用继承可以有效复用代码子类可以覆盖父类的field和method；但是如果父类用final修饰，field和method用final修饰，则该类是无法被继承的，

2017-05-15 11:10:29 291

原创 Scala中的数组、映射、元组、集合

一、数组 1. 数组有定长数组：Array 变长数组：ArrayBuffer 不可变的集合或数组一般在immutable包下面，scala默认将这个包导入进来了；可变的集合或数组一般在mutable包下，需要手动导入。 Array 是一个不可变长数组，但是数组中角标对应的元素是可变的import scala.collection.mutab

2017-05-14 15:39:28 585

原创 Java 集合

存储对象可以考虑：数组、集合。但是使用数组存储数据存在一些弊端：一旦创建，其长度不可变；真实的数组存放的对象个数是不可知的。 Java集合可分为Map和Collection两种体系。Collection接口继承树 Collection接口： 1.Set：元素无序、不可重复的集合（HashSet、LinkedHashSet、TreeSet）添加进Set中的元素所在的类，

2017-05-12 23:57:04 227

echo_ale的博客