- 博客(12)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 hadoop倒排索引
1.前言 学习hadoop的童鞋，倒排索引这个算法还是挺重要的。这是以后展开工作的基础。首先，我们来认识下什么是倒拍索引： 倒排索引简单地就是：根据单词，返回它在哪个文件中出现过，而且频率是多少的结果。这就像百度里的搜索，你输入一个关键字，那么百度引擎就迅速的在它的服务器里找到有该关键字的文件，并根据频率和其他一些策略（如页面点击投票率）等来给你返回结果。这个过
2015-09-19 09:52:04
604
转载 String，StringBuffer,StringBuilder黑马精华贴
StringBuffer, StringBuilder 都实现了CharSequence接口，意思都是字符序列，他们的底层都是用char[]实现的。StringBuffer, StringBuilder是可变的，意思是你在生成其对象后可以改变其内部的char[],比如扩容，插入，删除等，这两个类是用于动态创建字符串的。这两者都是继承于AbstractStringBuilder，也就是他们具有相
2015-09-16 10:19:46
731
原创 super和this的区别
super和this的异同： 1)super（参数）：调用基类中的某一个构造函数（应该为构造函数中的第一条语句） 2)this（参数）：调用本类中另一种形成的构造函数（应该为构造函数中的第一条语句） 3)super: 它引用当前对象的直接父类中的成员（用来访问直接父类中被隐藏的父类中成员数据或函数，基类与派生类中有相同成员定义时如：super.变量名
2015-09-13 12:57:34
1292
原创 基本类型和引用类的区别
1。从设计目的来讲 a.基本类型主要是从c语言到java的保留类型,要目的是用来作为类的基本构件，以表达类的属性特性 b.为了完善java面向对象的特点，jdk1.5有了自动装箱自动拆箱的新概念，也就是给基本类型提供了包装类2。从内存来讲a.基本类型就是代表的一个数值，一个字符，一个boolean等，因为他所占用的内存小，操作频繁所以存放在栈中，
2015-09-13 12:11:38
460
原创 字节流与字符流
在学习java的io流中 经常用到FileOutStream 、FileInputStream和 FileReader、FileEWiter 分别对应的是字节流和字符流一般情况下读取中文需要用字符流，因为在字节流一个汉字被看做一个字符。流是一个有序的字节序列，可作为一个输入源，也可作为一个输出的目的地。 字节流以字节为单位输入输出，字节流类名含有stream,字符流以字符为单位输入输出，字节流
2015-09-13 11:51:10
492
原创 面试题
1.请简要描述一下Hadoop, Spark, MPI三种计算框架的特点以及分别适用于什么样的场景a) Hadoop 基于分布式文件系统HDFS的分布式批处理计算框架。适用于数据量大，SPMD(单程序多数据)的应用。 b) Spark 基于内存计算的并行计算框架。适用于需要迭代多轮计算的应用。 c) MPI 基于消息传递的并行计算框架。适用各种复杂应用的并行计算。
2015-09-13 11:23:51
652
转载 Hadoop源码分析之心跳机制
一、心跳机制 1、hadoop集群是master/slave模式，master包括Namenode和Jobtracker，slave包括Datanode和Tasktracker。 2、master启动的时候，会开一个ipc server在那里，等待slave心跳。 3、slave启动时，会连接master，并每隔3秒钟主动向master发送一个“心跳”，这个时间可 以通过”hea
2015-09-12 22:21:11
832
转载 jdk1.5-1.8新特性
JDK各个版本的新特性 对于很多刚接触java语言的初学者来说，要了解一门语言，最好的方式就是要能从基础的版本进行了解，升级的过程，以及升级的新特性，这样才能循序渐进的学好一门语言。今天先为大家介绍一下JDK1.5版本到JDK1.7版本的特性。希望能给予帮助。JDK1.5新特性： 1.自动装箱与拆箱：自动装箱的过程：每当需要一种类型的对象时，这种基本类型就自动地封
2015-09-12 19:51:59
1093
原创 体会Collection
编了半天代码，感觉好累，业务时间看看别人写的东西，心里就会觉得舒服很多。今天看了一下html5,css3,ajax,java api新特性，还有collection和collections现在学习总结一下：Collection是集合类的一个顶级接口，其直接继承接口有List与Set而Collections则是集合类的一个工具类/帮助类，其中提供了一系列静态方法，用于对集合中元素进行排
2015-09-12 18:32:52
359
原创 hadoop工程日志
log4j.propertieslog4j.rootLogger=info, stdoutlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionP
2015-09-06 16:06:47
580
原创 Google矩阵及PageRank的求解方法
1. Google矩阵 假设有A,B,C,D,E五个网页，其中 1)A网页有链接指向B,C,D 2)B网页有链接指向A,E 3)C网页有链接指向A,E 4)D网页有链接指向C 5)E网页有链接指向A,C 请写出这个网页链接结构的Google矩阵 这样，我们就得到了Google的初始矩阵L（也有资料叫这转移矩阵）。PageRank的求
2015-09-04 13:01:14
5397
原创 [Hadoop]使用DistributedCache进行复制联结
package com.yc.test3;import java.io.IOException;import java.util.HashMap;import java.util.HashSet;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FS
2015-09-02 18:56:31
684
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人