排序:
默认
按更新时间
按访问量

一个程序员关于学习的思考顺带思考人生

心安即是归处 既然选择了编程,只管风雨兼程 你错过了夏花绚烂,必将走进秋叶静羌   一次会议记录是不会有人感兴趣的,做标题党也是不道德的。所以,走了个折衷的路线,标题不叫会议记录, 内容不纯总结,技术加吐槽,经验加总结。 对于一个程序员的成长,学习似乎是永恒的事情。为什么网友爱用“苦...

2012-11-12 23:29:22

阅读数:997

评论数:0

java面试题精简版

一、单例模式1. 什么是单例模式因程序需要,有时我们只需要某个类同时保留一个对象,不希望有更多对象,此时,我们则应考虑单例模式的设计。2. 单例模式的特点1. 单例模式只能有一个实例。2. 单例类必须创建自己的唯一实例。3. 单例类必须向其他对象提供这一实例。3. 单例模式VS静态类在知道了什么是...

2018-07-05 14:13:48

阅读数:135

评论数:0

java HashMap

摘要HashMap是Java程序员使用频率最高的用于映射(键值对)处理的数据类型。随着JDK(Java Developmet Kit)版本的更新,JDK1.8对HashMap底层的实现进行了优化,例如引入红黑树的数据结构和扩容的优化等。本文结合JDK1.7和JDK1.8的区别,深入探讨HashMa...

2018-07-04 11:27:00

阅读数:14

评论数:0

程序员面试智力题

下面集中归纳了一些相关的智力题,为面试做准备:

2016-11-07 18:07:00

阅读数:699

评论数:0

java合并文件

java Io  将n个文件和并问题 import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; i...

2015-03-06 18:28:30

阅读数:569

评论数:0

Spring10种常见异常解决方法

在程序员生涯当中,提到最多的应该就是SSH三大框架了。作为第一大框架的Spring框架,我们经常使用。 然而在使用过程中,遇到过很多的常见异常,我在这里总结一下,大家共勉。 一、找不到配置文件的异常 [plain] view plaincopy org.spring...

2015-02-28 14:54:41

阅读数:107908

评论数:7

tomcat部署java web项目的过程

一.安装JDK 到http://www.oracle.com/technetwork/java/javase/downloads/index.html下载JavaSE 6 Update 27 根据操作系统选择Linux x64 - RPM Installer或Linux x86 - RPM Ins...

2015-02-10 17:44:06

阅读数:6796

评论数:0

Hive - hive.groupby.skewindata环境变量与负载均衡

HiveQL 去重操作 和SQL一样,HiveQL中同样支持DISTINCT操作,如下示例: (1) SELECT  count(DISTINCT uid) FROM log (2) SELECT ip, count(DISTINCT uid) FROM log GROUP BY ip ...

2013-12-24 11:45:59

阅读数:8074

评论数:0

基于HIVE文件格式的map reduce代码编写

我们的数据绝大多数都是在HIVE上,对HIVE的SEQUENCEFILE和RCFILE的存储格式都有利用,为了满足HIVE的数据开放,hive client的方式就比较单一,直接访问HIVE生成的HDFS数据也是一种必要途径,所以本文整理测试了如何编写基于TEXTFILE、SEQUENCEFILE...

2013-12-23 16:08:11

阅读数:705

评论数:0

hadoop作业调优参数整理及原理

文章出处:http://www.alidata.org/archives/1470 1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内...

2013-12-09 13:22:27

阅读数:621

评论数:0

传递参数到mapreduce中

今天写MapReduce程序遇到一些问题,就是需要生成一个参数并将这个参数的值传递给MapReduce函数,但是不知道如何实现,于是找到了一些参考网站成功实现了,关键点就在于Configuration参数设置于获取以及我的实现是基于新的MapReduce的api实现的。 Configur...

2013-12-09 12:29:47

阅读数:5966

评论数:0

mapreduce排序和二次排序以及全排序

自己学习排序和二次排序的知识整理如下。 1.Hadoop的序列化格式介绍:Writable 2.Hadoop的key排序逻辑 3.全排序 4.如何自定义自己的Writable类型 5.如何实现二次排序 1.Hadoop的序列化格式介绍:Writable 要了解和编...

2013-12-05 12:02:04

阅读数:14999

评论数:0

hive job配置和mapreduce数目控制

开启动态分区: hive.exec.dynamic.partition=true 默认值:false 描述:是否允许动态分区 hive.exec.dynamic.partition.mode=nonstrict 默认值:strict 描述:strict是避免全分区字段是动态的,必须有至...

2013-11-26 11:19:08

阅读数:5995

评论数:0

hive merge file

当Hive输入由很多个小文件组成,由于每个小文件都会启动一个map任务,如果文件过小,以至于map任务启动和初始化的时间大于逻辑处理的时间,会造成资源浪费,甚至OOM。 为此,当我们启动一个任务,发现输入数据量小但任务数量多时,需要注意在Map前端进行输入合并 当然,在我们向一个表写数据时,也...

2013-11-26 11:17:37

阅读数:759

评论数:0

mapreduce实现对key的排序

最近在学习MapReduce编程遇到很多用MR实现按某一列值排序,或二次排序的类似问题,于是试着用MR实现各种排序问题,最终有点小总结:无需在key对象之外写任何排序函数,MR会完成按key值排序,具体详解如下:   在这之前要先说一下WritableComparable接口。Writable接...

2013-11-08 14:38:48

阅读数:4676

评论数:0

mapreduce实现多文件自定义输出

本人在项目中遇到一个问题,就是在处理日志的时候,需要有多个key,比如一行日志是 domain sip minf h b 而我处理的时候需要map输出为 key:domain+minf value h+"|"+b 和 key:sip+minf value h+"|...

2013-11-08 14:30:12

阅读数:6848

评论数:0

Hbase counter

本文是本人在做项目中有一个需求,就是日志分析各字段,我是定时去分析日志,需要记录每个域名+时间戳的hits和bits,但是有一个问题处理起来比较头疼,那就是有的日志会有延迟,比如12点去跑11点的日志,但是发现11点的日志中有10点的日志,所以每次都是先去取出来 ,若存在,则累加,再放入,这效率太...

2013-11-08 13:51:54

阅读数:4394

评论数:1

mapreduce如何调用第三方jar包

MapReduce程式调用第三方包:我在使用过程中需要用到hbase的jar包,若要使用,常规是添加到每台机器的classpath中,但是通过DistributeCache,在初始化前加入就ok了。 解决方法介绍: 我们知道,在Hadoop中有一个叫做DistributedCache的东东,它是...

2013-11-08 13:13:18

阅读数:5793

评论数:1

Hbase shell 常用命令(1)

hbase

2013-09-11 19:49:33

阅读数:612

评论数:1

hive查询优化总结

一、join优化 Join查找操作的基本原则:应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段,位于 Join 操作符左边的表的内容会被加载进内存,将条目少的表放在左边,可以有效减少发生内存溢出错误的几率。 Join查找操作中如果存在多个jo...

2012-12-04 20:29:27

阅读数:362

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭