Dijkstra的双栈算法表达式求值算法

import java.util.Stack;/** * Created by gary on 16-1-3. */ public class TestStack { public static void main(String[] args) { String exp...

2016-01-03 16:56:03

阅读数:539

评论数:0

Linux(CentOS)常用命令

echo $LANG 显示系统语言 LANG=[zh_CN.UTF-8 | en_US]设置系统语言 date显示系统时间 date "+%Y-%m-%d %H:%M:%S"格式化日期 cal 显示日历 cal[[month] year] cal 12 2015显...

2015-12-30 14:34:51

阅读数:265

评论数:0

二维数组的查找问题

题目:在一个二维数组中,每一行都按照从左往右递增的顺序排序,每一列都是按照从上到下递增的顺序排序。请完成一个函数,输入这样的一个二维数组和一个整数,判断数组中是否拥有这个数字。 例如:下面这个数组就是每行每列都是递增排序,如果在这个数组中查找7,则返回true, 查找数字5,因为数组中不含有该数字...

2015-09-16 11:05:38

阅读数:376

评论数:0

Hadoop 实例16-----MultipleOutputs实战:结果输出到多个文件夹或者文件中

1.输出到多个文件或多个文件夹: 驱动中不需要额外改变,只需要在MapClass或Reduce类中加入如下代码private MultipleOutputs<Text,IntWritable> mos; public void setup(Context context) throw...

2015-09-10 10:04:49

阅读数:3055

评论数:3

Hadoop 实例15 MultipleInputs实战2:多种自定义文件格式的文件输入处理

MultipleInputs 可以让MR支持多种输入格式。比如我们有两种文件格式,那么我们就需要有两套 Record Class, RecordReader和InputFormat。MultipleInputs需要不同的InputFormat, 一种InputFormat使用一种RecordRea...

2015-09-09 19:13:27

阅读数:800

评论数:0

Hadoop 实例14 MultipleInputs实战2:多文件输入执行join操作

hadoop多文件格式输入,一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。1、需求:比如现在有如下的需求:现有两份数据:phone:123,good number 124,common number 125,bad number user:zhangs...

2015-09-09 14:52:22

阅读数:1295

评论数:0

Hadoop 案例13----倒排索引

“倒排索引”是文档检索系统中最常用的数据结构,被广泛地应用于全文搜索引擎。它主要是用来存储某个单词(或词组)在一个文档或一组文档中的存储位置的映射,即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容,而是进行相反的操作,因而称为倒排索引(Inverted Index)。 ...

2015-09-08 16:59:04

阅读数:426

评论数:0

Hadoop 案例12----自连接问题

1、需求分析 实例中给出child-parent(孩子——父母)表,要求输出grandchild-grandparent(孙子——爷奶)表。 2、原始数据 file:child parent Tom LucyTom Jack Jone ...

2015-09-08 11:20:44

阅读数:439

评论数:0

Hadoop 实例11 二次排序讲解

说明: 关于二次排序主要涉及到这么几个东西:在0.20.0 以前使用的是 setPartitionerClass setOutputkeyComparatorClass setOutputValueGroupingComparator 在0.20.0以后使用是 ...

2015-09-08 09:20:09

阅读数:516

评论数:0

Hadoop 实例10 Join讲解3: 将人员的地址ID完善成为地址名称,输出格式要求:人员Id,姓名,地址 ----优化方案

1、原始数据 人员ID 人员名称 地址ID 1 张三 1 2 李四 2 3 王五 1 4 赵六 3 5 马七 3另外一组为地址信息: 地址ID 地址名称 1 北京 2 上海 3 广州2、处理说明 该处理接着上...

2015-09-06 19:12:03

阅读数:488

评论数:0

Hadoop 实例9 Join讲解2: 将人员的地址ID完善成为地址名称

输出格式要求:人员Id,姓名,地址 1、原始数据 人员ID 人员名称 地址ID1 张三 1 2 李四 2 3 王五 1 4 赵六 3 5 马七 3另外一组为地址信息: 地址ID 地址名称1 北京 2 上海 3 广州2、处理说明         这里...

2015-09-06 10:39:59

阅读数:406

评论数:0

Hadoop 实例8 Join讲解1: 获取员工所在部门信息

输出格式要求:员工编号,员工姓名,部门名称,部门编号 1、原始数据 员工数据empno ename job mgr hiredate sal comm deptno loc 7499 allen salesman 7698 1981-...

2015-09-05 22:39:45

阅读数:507

评论数:0

Hadoop 案例7-----日志分析:分析非结构化文件

1、需求:根据tomcat日志计算url访问了情况,具体的url如下, 要求:区别统计GET和POST URL访问量 结果为:访问方式、URL、访问量127.0.0.1 - - [03/Jul/2014:23:36:38 +0800] "GET /course/det...

2015-09-05 20:17:55

阅读数:1018

评论数:0

Hadoop 案例6-----TopN问题:求最大的K个值并排序

1、需求分析orderid,userid,payment,productid [root@x00 hd]# cat seventeen_a.txt1,9819,100,121 2,8918,2000,111 3,2813,1234,22 4,9100,10,1101 5,3210,490,111...

2015-09-05 16:18:37

阅读数:1880

评论数:0

Hadoop 案例5-----求最大最小值问题

1、数据准备 [root@x00 hd]# cat eightteen_a.txt 102 10 39 109 200 11 3 90 28[root@x00 hd]# cat eightteen_b.txt 5 2 30 8382.Mapper程序:package cn.edu.bjut.ma...

2015-09-05 14:44:29

阅读数:1326

评论数:0

Hadoop 案例4----平均成绩

1、需求分析 对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩,如果有多门学科,则每门学科为一个文件。 要求在输出中每行有两个间隔的数据,其中,第一个代表学生的姓名,第二个代表其平均成绩。2、原始数据 1)math:张三 88李...

2015-09-05 13:55:55

阅读数:545

评论数:0

Hadoop 案例3----数据排序

“数据排序”是许多实际任务执行时要完成的第一项工作, 比如学生成绩评比、数据建立索引等。这个实例和数据去重类似,都是先对原始数据进行初步处理,为进一步的数据操作打好基础。下面进入这个示例。1、需求描述 对输入文件中数据进行排序。输入文件中的每行内容均为一个数字,即一个数据。 要求在输出中...

2015-09-05 10:27:26

阅读数:542

评论数:0

Hadoop 案例2----数据去重问题

1、原始数据 1)file1:2012-3-1 a2012-3-2 b2012-3-3 c2012-3-4 d2012-3-5 a2012-3-6 b2012-3-7 c2012-3-3 c 2)file2:2012-3-1 b2012-3-2 a2012-3-3 b2012-3-4 d2012...

2015-09-04 20:36:42

阅读数:597

评论数:0

Hadoop 实例1---通过采集的气象数据分析每年的最高温度

1.原始数据分析0067011990999991950051507004888888889999999N9+00001+9999999999999999999999 0067011990999991950051512004888888889999999N9+00221+99999999999999...

2015-09-04 19:38:10

阅读数:4708

评论数:0

ubuntu设置命令行启动

推荐方法二 方法1. sudo gedit /etc/default/grub 将代码:GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"  改为: GRUB_CMDLINE_LINUX_DEFAULT="text"...

2015-09-02 16:11:42

阅读数:255

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭