cnkxy68446-CSDN博客

转载 HADOOP SPARK 集群环境搭建

目标：在已经存在的4个节点的hadoop 2.6集群上基础上，搭建spark集群。4个机器分别为： master、slave1、slave2、slave3 1、资源下载 ...

2016-08-24 11:46:12 152

转载细节决定成败 MapReduce任务实战倒排索引

今天在偶然看到一个博文，里面讲述如何使用mapreduce进行倒排索引处理。那就拿这个任务当成本篇实战任务吧。一、任务描述hdfs 上有三个文件，内容下上面左面框中所示。右框中为处理完成后的结果文件。倒...

2016-06-15 18:08:39 244

转载细节决定成败 MapReduce任务实战 Reduce Join

一、任务描述在hdfs 上有两个文件学生信息文件：hdfs://***.***.***:8020/user/train/joinjob/student.txt以逗号分隔，第一列为学号，学号每个学生...

2016-06-14 18:10:52 274

转载细节决定成败 MapReduce任务实战 Map Join

一、任务描述在hdfs 上有两个文件学生信息文件：hdfs://***.***.***:8020/user/train/joinjob/student.txt以逗号分隔，第一列为学号，学号每个学生...

2016-06-14 14:46:44 224

转载一个MapReduce 程序示例细节决定成败(九)：RawComparator

在mr 框架中，用的最普遍的的一个功能就是比较大小。 map输入时按key排序要比较。reduce的shuff /sort 阶段要比较。所以我们自定义的key类型都是要实现WritableComparator 接口。这个接口...

2016-06-01 14:59:02 147

转载一个MapReduce 程序示例细节决定成败(八)：TotalOrderPartitioner

在上一个实验中一个MapReduce 程序示例细节决定成败(七) ：自定义Key 及RecordReader，使用自定义的RecordReader 从split 中读取信息，封装到自定义的key中。这一步在使用Total...

2016-05-30 16:17:50 277

转载一个MapReduce 程序示例细节决定成败(七) ：自定义Key 及RecordReader

上一篇中，演示了如何使用CombineFileInputFormat 来优化当有多个输入小文件时，减少起动的map task个数。在自定义的MyCombineFileInputFormat中的MyRecordReader是简...

2016-05-30 14:51:31 133

转载一个MapReduce 程序示例细节决定成败(六) ：CombineFileInputFormat

hadoop的mr 任务设计上是针对大文件的，但实践中难免会遇到大量小文件的情况，就像我们这个字符数量统计的mr。输入是三个小文件。所以每个文件至少都会产生一下split，每个split 又会产生一个ma...

2016-05-30 13:41:24 550

转载一个MapReduce 程序示例细节决定成败(五) ：Partitioner

上一个博文中，我们分别介绍了使用combiner 和in-map 聚合来优化 map reduce job。这一篇中，继续优化这个统计字符数量的mr 程序。再次介绍下map reduce程序的目标：统计输入文件中 a...

2016-05-27 21:20:57 231

转载一个MapReduce 程序示例细节决定成败(四) ：In-Map Aggregation

为什么使用in-map aggregation, 与combine 有什么区别，什么时候使用combiner ，什么时候使用in-map 聚合？先介绍用一张图看看一下combiner 在一个mr job中的位置。...

2016-05-27 15:07:51 88

转载一个MapReduce 程序示例细节决定成败(三) ：Combiner

上一篇中，我们写了一个统计输入文件中a~z 每个字符个数的mr 程序。通过查看运行日志的Counter 计数可以看到map 到 reduce 之间的网络传输是多少。而本篇我们将介绍的Combiner 是一个非常重要的组件，...

2016-05-27 13:09:27 114

转载一个MapReduce 程序示例细节决定成败(二) ：观察日志及 Counter

编写一个mapreduce 程序：http://blog.itpub.net/30066956/viewspace-2107549/下面是一个计算输入文件中a~z每个单字符的数量的一个map reduce 程序。...

2016-05-27 12:47:18 127

转载一个MapReduce 程序示例细节决定成败（一）

最近在看MapReduce，想起一直都是Copy 然后修改的方法来写。突然想试试自己动手写一个及其简单的mr程序。细节决定成败啊，不试不知道，一试才能发现平时注意不到的细节。下面是我用了很快时间写好的一个程序，注意，这份...

2016-05-26 19:48:13 152

转载为Linux虚拟机增加磁盘空间

在做Oracle 备份恢复实验时，发现我的Linux虚拟机空间不足。以下为增加10G空间的步骤。一将Linux系统Power Off ,在虚拟机设置中选择 Add--...

2016-05-23 19:57:40 84

转载 Hadoop的GroupComparator是如何起做用的（源码分析）

目标：弄明白，我们配置的GroupComparator是如何对进入reduce函数中的key Iterable<value> 进行影响。如下是一个配置了GroupComparator 的reduce函数。...

2016-05-07 19:09:34 112

转载 UNICODE码转汉字

需求：拿到一个excle文档，文档中有一列是使用unicode编码的字符串。现在需求把这一列转成汉字的。[u'\u8282\u65e5\u793c\u7269', u'\u80a1\u7968\u671f\u6743', u...

2016-04-26 11:05:19 932

转载简单实例讲解JEECG ONLINE表单权限控制（jeecg3.6）

简单实例讲解JEECG ONLINE表单权限控制（jeecg3.6） ...

2015-12-15 09:43:52 453

转载 JEECG 简单实例讲解权限控制

业务背景：某公司要实现一个日志系统，用来了解员工的工作量饱和情况。需求： 1、角色分为：员工、经理两种。 2、员工每天在日志系统中填报工作总结，然后经理进行点评。 3、...

2015-12-09 02:13:37 298

转载 PD连接oracle时报错

1、powerdesigner连接oracle数据库出现这个问题。 Non SQL Error : Could not load class oracle.jdbc.OracleDriver...

2015-11-26 22:32:18 409

转载查看MySql数据库锁，并杀死对应进程

1、showprocesslist.2、通过info，可以看到，死锁是因为alter table 。3、kill掉锁表的进程。 kill 2292 即可。 ...

2015-11-16 15:05:00 778

转载 Hibernate Mysql 使用原生sql时，报别名报列不存在的问题。

在hibernate中使用mysql数据库原生sql报列不存在。java.sql.SQLException:Column 'name' not found解决方法：在数据连接字符串上加了一个参数&useOld...

2015-11-16 14:56:30 310

转载 SPARK 安装之scala 安装

1、文件下载scala 下载到http://www.scala-lang.org/download/ 这个地方下载（居然自动识别操作系统，我还要linux系统中点击下载）下载后进行解压[root@h1 hadoo...

2015-09-30 17:11:29 69

转载使用dual 虚表，构造连续数据

模拟一个数据表如下有三个字段：年、月、数值。但数据不是连续的。如2014年05月到2015年04月缺少 2014年06、08、11、12 以及2015年01、02 点击(此处)折叠或打开 ...

2015-09-24 16:17:27 376

转载 ORACLE 执行计划会不会影响查询结果

在读这篇文章时请先问自己两个问题 1、查询语句中，select部分字段的增减会不会影响结果条数？ 2、ORACLE 执行计划会不会影响查询结果？ ...

2015-09-23 15:46:26 154

转载 javamail 配置多个邮箱进行发送异常

javamailsession = Session.getDefaultInstance(props, authenticator);session = Session.getInstance(props, authe...

2015-09-22 15:41:53 467

转载 ORACLE 模拟数据之从指定表中的指定字段时随机出一个值

最近在项目中要模拟很多有外键关联的数据。写了工具方法，发现很好用，记录一下。例如：随机从 T_USER表中得到一个USERID.select getColValue('T_USER','USERID') from dua...

2015-09-18 18:16:17 424

转载 Java web 使用uploadify 进行上传进度条显示

Java Web中使用Uplodify进行文件上传说在前面的话 1、 uplodify为前段显示进度，不用重复调后台查询上传进度，提高效率。 2、使用uplodify一定要...

2015-08-18 15:53:11 116

转载 Java web 中实现文件上传进度条显示

请客官参考http://blog.itpub.net/30066956/viewspace-1775286/ 这一篇文章，来决定使用哪儿种，个人觉得使用uploadify更好更方便。感谢：http://blog.s...

2015-08-17 09:31:47 686

转载 Java 类初始化顺序

Java 类初始化顺序为1、父类静态字段初始化2、子类静态字段初始化3、父类普通字段初始化4、父类构造器执行5、子类普通字段初始化6、子类构造器执行点击(此处)折叠或打开...

2015-08-16 14:15:06 66

转载 Hadoop 学习之-HBase安装

HBase单机模式安装1、下载解压对hadoop 的版本有要求。如果版本不匹配，会出问题。本机使用hadoop1.1.2 使用 http://mirror.bit.edu.cn/apache/hbase/hbase-...

2015-04-23 23:15:46 80

转载 Hadoop 学习之 MapredReduce 编程小试

1、打开myeclipse 新建一个java 项目，直接把example 中的WordCount.java COPY过来。2、修改编码 UTF-8,编译器 1.63、buildpath 把源码根目录下的jar,以及lib...

2015-04-22 21:34:40 108

转载 Linux 基础回顾之进程与空间

1、psps -ax a:所有用户及自己的进程， x：没有终端的进程列出2、空间df :要找出特定分区用掉了多少空间，还有多少空间可以使用时，df命令是有用的。然而，它不能找出起始目录用了多少空间，它的子目...

2015-04-21 14:21:46 61

转载使用Maven 管理你的项目之安装

1、首先下载Maven.http://maven.apache.org/download.html2、解压到本地的某个目录。D:\developApp3、配置环境变量。 MAVEN_HOME :...

2015-03-10 20:29:43 58

转载 Struts2 URL 传参，中文乱码问题解决

Tomcat： 1.编码的设置在tomcat中设置编码格式 maxThreads="150" minSpareThreads="25" maxS...

2015-03-10 14:53:42 64

转载 oracle 跟据前缀规则生成编码解决方法

先说需求。人员属于组织机构，组织机构为11位字符串代码，人员代码需要在新增人员时后台生成。生成规则人员代码 = 组织机构代码前7位+ 4位的数字。要求：1、生成的代码不可以重复（废...

2015-01-16 09:43:51 168

转载 Weblogic NodeManager 的配置使用

1、配置计算机节点管理器运行环境（不用操作）nodemaneger HOME目录：weblogic/wlserver_10.3/common/nodemanager[weblogic@wls nodemanag...

2014-12-19 14:53:16 1094

转载如何在Java中返回树形结构最佳实践

点击(此处)折叠或打开 import java.util.ArrayList; import java.util.H...

2014-12-17 16:17:46 340

转载 oracle数据库(ORA-02270:此列表的唯一或主键不匹配)

在给表加外键引用时，报出ORA-02270:此列表的唯一或主键不匹配。点击(此处)折叠或打开 /*==========================...

2014-12-16 15:56:34 736