- 博客(18)
- 收藏
- 关注
RSS订阅转载 mapreduce执行过程3
问题导读：1.Reduce类主要有哪三个步骤？2.Reduce的Copy都包含什么过程？3.Sort主要做了哪些工作？4.4 Reduce类4.4.1 Reduce介绍整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似，包括initiali
2016-01-16 11:15:30
320
转载 mapreduce 执行过程2
问题导读：1.hadoop哪些数据类型，是如何与Java数据类型对应的？2.ApplicationMaster什么时候启动？3.YarnChild进程什么时候产生？4.如果在recuece的情况下，map任务完成暂总任务的多少百分比？5.run的执行步骤是什么？6.哪个方法来执行具体的map任务？7.获取配置信息为哪个类？8.TaskAttemptContextIm
2016-01-16 11:11:06
687
转载 mapreduce yarn 的job提交流程
1 概述 该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。2 为什么要使用MapReduce Map/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题
2016-01-16 10:28:16
3062
原创 MR程序的几种提交运行模式
MR程序的几种提交运行模式本地模型运行1/在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行 ----输入输出数据可以放在本地路径下（c:/wc/srcdata/） ----输入输出数据也可以放在hdfs中(hdfs://week110:9000/wc/srcdata)
2016-01-15 20:54:33
519
原创 hdfs工具类加注释
package cn.itcast.hadoop.hdfs;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import
2016-01-14 22:46:41
371
原创 一个mapreduce实例加注释
1.WCMapper.javapackage cn.itcast.hadoop.mr.wordcount;import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.io.LongWritable;import org.apache.hado
2016-01-14 22:03:47
765
转载 如何正确遍历删除List中的元素，你会吗？
遍历删除List中的元素有很多种方法，当运用不当的时候就会产生问题。下面主要看看以下几种遍历删除List中元素的形式：1.通过增强的for循环删除符合条件的多个元素2.通过增强的for循环删除符合条件的一个元素3.通过普通的for删除删除符合条件的多个元素4.通过Iterator进行遍历删除符合条件的多个元素 [java] view pl
2016-01-08 19:53:44
283
原创 java 开关
有时候需要某些代码执行或者不执行或者特殊情况下执行，就可以用开关来控制；开关值可以放在properties文件中，也可放在表中，动态获取开关值；下面是放于config表和配置文件同时控制//开关方法private boolean isSwitchOpen(String switchName) { Map params = new HashMap();
2016-01-08 19:48:51
4648
原创 ibatis.SqlMapClientTemplate的使用集锦
import org.springframework.orm.ibatis.SqlMapClientTemplate;importorg.springframework.orm.ibatis.SqlMapClientCallback;@Repository("skulistDao")public class SkulistDao extends SqlMapClientTempla
2016-01-08 19:36:01
630
原创 ibatis xml特别的用法
1)xml中使用InLong[] cdcids;params.put("cdcid", cdcids);selectid="queryWare"resultClass="Ware"parameterClass="Map"> select storeid as storeId, wid,
2016-01-08 19:29:21
518
原创 调用接口，设置重试次数
//任务重复请求次数public static final int RETRY_NUM = 3; for (int i = 0; i try {//调用接口 StockQuerySafClient stockQuerySafClient = ContextSafBeanUtil.getStockQuerySafClient()
2016-01-07 18:27:46
4198
1
原创 java 后台走过的坑
1.type是否为空（type != null），每步都需判断(Integer type），否则 type.intValue() 会报空指针错误 if(type != null && type.intValue() == 1){ typeName = "1"; }else if(type != null && 2 == type.int
2016-01-07 13:17:54
441
原创 统计pv uv-
var _paq = _paq || [];//_paq.push(['setCustomVariable', '1','key','value', 'page']); //设置自定义变量, 最多允许4个自定义变量，序号从1，到4. key, value 最大长度200//_paq.push(['setCustomVariable', '2','orderId','12345', 'pag
2016-01-07 09:36:14
864
原创 java double类型-加减乘除高精度运算
double类型-加减乘除高精度运算// 进行加法运算 private double add(double v1,double v2){ BigDecimal b1 = new BigDecimal(Double.toString(v1)); BigDecimal b2 = new BigDecimal(Double.toString(
2016-01-06 08:51:25
26009
6
原创 js html/vm时间组件1
vm: 申请时间: js:function initdatepicker() { //设置时间显示optionSet = {minDate : '2000-01-01',maxDate : '2060-12-31',//dateLimit: { days: 60 },showDropdowns
2016-01-04 19:50:08
459
原创 java日期组件
package com.jd.ipc.rdcfdc.common.utils;import java.text.DateFormat;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;imp
2016-01-04 19:47:31
553
原创 java js 日期总结
java：1.设置当前日期后一个月Date releaseDate = null;GregorianCalendar gc = new GregorianCalendar(new Locale("zh", "CN")); gc.setTime(new Date()); gc.add(Calendar.MONTH, 1); releaseDate = gc.getTime
2016-01-04 19:31:28
300
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人