关闭

学习笔记01--在MR中优化用户的代码

345人阅读 评论(0) 收藏 举报
分类:
在MR中优化用户的代码
1:尽量减少正则表达式的使用


2:String标记:测试标明:StringUtils.split  性能优于 StringTokenizer 优于 String.split 优于 Scanner类


3: Map函数中的对象重用:对象的实例化,尽量不要放在Map函数内,放在函数体之外
   Text outputValue = new Text(); 放在函数体外面,尽可能地重用对象将会提高效率。


4:Reduce函数中的对象重用:
   如果用户想在Reduce中缓存对象,用户需要克隆对象。
   List cached = new ArrayList();
   cached.add(WritableUtils.clone(value,context.getConfiguration()))
 
5: 字符串合并:
    线程安全的StringBuilder 优于  StringBuffer   优于 String 
    
    但是底线是使用StringBuilder 类是最安全的,最好使用构造函数为产生的字符串预先分配足够的空间以避免StringBuilder内部字节数组的重新分配
 
6:对象的开销
  ArrayList<String>  strings = new Arraylist<Stirng>();
  strings.add("A");
    strings.add("b");
    可以计算一下上面的ArrayList 和 其内容所占用的内存量:
    在java中,字符串的内存占用是根据以下公式进行计算的:
    字符串占用的内存字节数 = (numberOFCharacters * 2) + 38 
    
    备注:详细请参考《Hadoop硬实战》247页
    
0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

Factorization Machines 学习笔记(四)学习算法

最近学习了一种叫做 Factorization Machines(简称 FM)的通用算法,它可对任意的实值向量进行预测。其主要优点包括: 1) 可用于高度稀疏数据场景; 2) 具有线性的计算复杂度。本...
  • peghoty
  • peghoty
  • 2014-10-28 10:22
  • 24088

吴恩达机器学习笔记_第二周

多元线性回归的情况: 符号表示方法,上标表示第几个样本,下标表示第几个特征。   多元线性回归的梯度下降: 当代价函数有多个参数时(即多个特征时):   使用梯度下降实用技...
  • hunterlew
  • hunterlew
  • 2016-04-11 21:31
  • 2901

【斯坦福---机器学习】复习笔记之顺序最小优化算法

本讲大纲:1.核(kernels) 2.软边界(soft margin) 3.SMO算法(SMO algorithm)1.核属性(attributes):原始的输入值(房价的例子中,x,住房的面积...
  • Andrewseu
  • Andrewseu
  • 2015-09-15 11:02
  • 2893

游戏编程学习笔记01 -- 定时器操作 代码附件

  • 2017-04-04 16:24
  • 2KB
  • 下载

【数据库学习笔记】Oracle_01_sql*plus,存储结构,用户管理,常用数据类型

Oracle_01 A.简介 1.Oracle服务 在成功安装Oracle后,会有7个服务 a.OracleDBConsoleorcl Oracle数据库控制台服务,orcl...
  • wpf719971425
  • wpf719971425
  • 2017-12-11 12:11
  • 86

python核心编程学习笔记-2016-09-03-01-图形化用户界面编程(二)

19.3Tkinter举例          标签组件 #-*-coding: utf-8-*- import Tkinter top = Tkinter.Tk() # 创建顶层窗口 label ...
  • baidu_21088863
  • baidu_21088863
  • 2016-09-03 08:55
  • 462

动归DP算法学习笔记 01背包 C++代码注解

01背包问题是动态规划的经典问题, 也是基础问题。 #include #include #include #include #include #include "inputf.h" int...
  • rrrfff
  • rrrfff
  • 2011-08-09 15:18
  • 3821

(X)HTML学习笔记01_(X)HTML代码的结构

小渣深感自己的能力有限,在学校感觉和同学们的差距越来越大,因此,寒假回了家,决定好好学习,努力充实自己,起码让自己看起来不那么渣,下学期的大作业组队不能给室友拖后腿!!加油! (X)HTML学习笔...
  • qq_19851167
  • qq_19851167
  • 2016-01-19 19:49
  • 336

【Java学习笔记】01.Java新天地,第一行代码

1. Java简介 Java是1995年由Sun公司推出的一门高级面向对象编程语言。 Sun公司于2009年被Oracle公司收购。 Ja...
  • qq_34183311
  • qq_34183311
  • 2017-04-05 22:24
  • 391

恶意代码分析实战(7-01实验学习笔记)

分析这个代码开始,先查看它的导入表 00404000 CreateServiceA ADVAPI32 创建一个服务进程,增加到服务控制器 004040...
  • zero1994
  • zero1994
  • 2015-04-27 20:09
  • 1272
    个人资料
    • 访问:354533次
    • 积分:5533
    • 等级:
    • 排名:第5585名
    • 原创:109篇
    • 转载:581篇
    • 译文:0篇
    • 评论:18条
    最新评论