- 博客(9)
- 资源 (13)
- 收藏
- 关注
原创 Hadoop之SequenceFile 详解
SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。目前,也有不少人在该文件的基础之上提出了一些HDFS中小文件存储的解决方案,他们的基本思路就是将小文件进行合并成一个大文件,同时对这些小文件的位置信息构建索引。不过,这类解决方案还涉及到Hadoop的另一种文件格式——MapFile文件。SequenceFile文件并不保证
2014-02-17 22:38:00 2294
原创 InputStream与Reader的区别
java.io下面有两个抽象类:InputStream和Reader InputStream是表示字节输入流的所有类的超类 Reader是用于读取字符流的抽象类 InputStream提供的是字节流的读取,而非文本读取,这是和Reader类的根本区别。 即用Reader读取出来的是char数组或者String ,使用InputStream读取出来的是byte数组。 弄清了两个超类的根本区
2014-02-17 10:47:20 603
原创 Spark 源码解析 ----RDD创建与本质
1 HadoopRdd class HadoopRDD[K, V]( sc: SparkContext, @transient conf: JobConf, inputFormatClass: Class[_ keyClass: Class[K], valueClass: Class[V], minSplits: Int)
2014-02-16 21:21:03 1370
原创 MAVEN pom.xml文件详解
[html] view plaincopyprint? project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apac
2014-02-16 21:19:34 627
原创 eclipse下进行scala应用程序开发入门
随着伯克利大学推出的spark 新一代内存计算模型的兴起,scala语言也会随之越来越热门,上午抽点时间 在eclipse下完成了scala 例程的开发,主要是涉及相关插件以及scala工程的创建。 我的安装经历如下: 1 下载和安装eclipse,最新版 http://www.eclipse.org/downloads/packages/eclipse-ide-java-e
2014-02-16 13:32:24 2386
原创 简单的apache log4j日志设置与使用实例
package org.apache.mrlog; import org.apache.log4j.EnhancedPatternLayout; import org.apache.log4j.Level; import org.apache.log4j.RollingFileAppender; import org.slf4j.Logger; import org.slf4j.Logg
2014-02-13 23:48:02 1349
原创 java中的synchronized关键字
synchronized关键字,作用域有两种: 1.是某个对象实例内,synchronized aMethod{}可以防止多个线程同时访问这个对象的synchronized方法(如果一个对象有多个synchronized方法,只要一个线程访问了其中的一个synchronized方法,其它线程不能同时访问这个对象中任何一个synchronized方法)。这时,不同的对象实例的synchronize
2014-02-13 13:56:52 645
转载 Thread类与Runnable接口的区别
Java中线程的创建有两种方式: 1. 通过继承Thread类,重写Thread的run()方法,将线程运行的逻辑放在其中 2. 通过实现Runnable接口,实例化Thread类 在实际应用中,我们经常用到多线程,如车站的售票系统,车站的各个售票口相当于各个线程。当我们做这个系统的时候可能会想到两种方式来实现,继承Thread类或实现Runnable接口,现在看
2014-02-13 10:34:14 3359
原创 java中的properties类简单用法
public class PropertiesTest { public static void main(String[] args) throws Exception { Properties prop = new Properties();// 属性集合对象 String fileName = "E:\\pro
2014-02-13 10:30:38 782
text-classification-cnn-rnn.rar
2020-07-09
内存中引用与指针之间的使用与区别
2009-09-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人