2014年09月_快乐程序员

12月 11月 10月 09月 07月 05月 03月 02月 01月

原创 hive任务卡在个别reduce的问题分析

最近微博有一个任务需要使用日曝光表做统计，发现这个任务很容易在stage1卡在reduce100%阶段不动，发邮件过来让帮找一下问题或者优化一下，和同事一起分析了一下原因，以下是分析过程：

2014-09-29 10:43:23 12293

原创广告作业单行1000万数据量处理超时分析

以下是分析ads的单⾏行数据量超过1000万时,map任务出现600s time out的问题:

2014-09-22 22:41:27 1437 1

原创 hive on spark部署

本文档相关软件的版本：spark-1.0.2、hadoop2.4.0和hive-0.13.0一、编译打包1、准备将 hadoop gateway所使用的 hadoop 相关配置文件(*-site.xml)放到 spark 的代码里的 core/src/main/resources/下进行打包，否则可能会出现找不到rm以及 nn 等情况。参考文档：《sp

2014-09-17 15:44:15 2463

原创授权指定用户从任何机器可访问 mysql服务器

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '密码' WITH GRANT OPTION;Query OK, 0 rows affected (0.00 sec)mysql> FLUSH PRIVILEGES;Query OK, 0 rows affected (0.00 se

2014-09-16 18:06:37 1537

转载如何使用bloomfilter构建大型Java缓存系统

背景在如今的软件当中，缓存是解决很多问题的一个关键概念。你的应用可能会进行CPU密集型运算。你当然不想让这些运算一边又一边的重复执行，相反，你可以只执行一次，把这个结果放在内存中作为缓存。有时系统的瓶颈在I/O操作上，比如你不想重复的查询数据库，你想把结果缓存起来，只在数据发生变化时才去数据查询来更新缓存。与上面的情况类似，有些场合下我们需要进行快速的查找来决定如何处理新来的请求

2014-09-16 12:17:10 1523

转载 Yarn在Shuffle阶段内存不足问题(error in shuffle in fetcher)

在Hadoop集群（CDH4.4, Mv2即Yarn框架）使用过程中，发现处理大数据集时程序报出如下错误：13/12/02 20:02:06 INFO mapreduce.Job: map 100% reduce 2%13/12/02 20:02:18 INFO mapreduce.Job: Task Id : attempt_1385983958793_0001_r_000000_1

2014-09-15 17:36:40 9102 1

转载 Mac 系统不同jdk版本切换方法

#确认jdk版本/usr/libexec/java_home#会得到下面信息（不同版本显示不一样）/Library/Java/JavaVirtualMachines/jdk1.7.0_60.jdk/Contents/Home#上面是1.7版本jdk，可以使用 -v 标识来获取其他已安装版本jdk，如：系统自带的1.6版本jdk/usr/libexec/jav

2014-09-02 12:38:21 3416

Oracle中ROWNUM的使用技巧

Oracle中ROWNUM的使用技巧,包括对rownum使用方法的技巧进行了详细说明，值得下载

2010-11-24

java 并发编程教程

java 并发编程 ThreadLocal 内存模型 JDK并发包编程并发集合显示锁数据冲突死锁

2010-06-17

spring aop 自定义切面示例

spring aop 自定义切面示例 aspectj 需要相应的架包支持

2010-06-17

quartz_job_scheduling_framework_中文版

quartz 中文版 api 任务调度 quartz与WEB应用

2010-03-21

HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的规范化工作正在进行之中，而且HTTP-NG(Next Generation of HTTP)的建议已经提出。 HTTP协议的主要特点可概括如下： 1.支持客户/服务器模式。 2.简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。 3.灵活：HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。 4.无连接：无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间。 5.无状态：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它的应答就较快。

2009-10-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

快乐程序员的专栏

原创 hive任务卡在个别reduce的问题分析

原创广告作业单行1000万数据量处理超时分析

原创 hive on spark部署

原创授权指定用户从任何机器可访问 mysql服务器

转载如何使用bloomfilter构建大型Java缓存系统

转载 Yarn在Shuffle阶段内存不足问题(error in shuffle in fetcher)

转载 Mac 系统不同jdk版本切换方法

oracle 内置sql函数

Oracle中ROWNUM的使用技巧

java 并发编程教程

spring aop 自定义切面示例

quartz_job_scheduling_framework_中文版

非常漂亮的个人主页模板

HTTP协议详解学习servlet的必备资料

UML类图各种关系详解

java 异常详解，java异常分类，创建自己的异常

servlet 返回 URL

空空如也

oracle 内置sql函数

Oracle中ROWNUM的使用技巧

java 并发编程教程

spring aop 自定义切面示例

quartz_job_scheduling_framework_中文版

非常漂亮的个人主页模板

HTTP协议详解 学习servlet的必备资料

UML类图各种关系详解

java 异常详解，java异常分类，创建自己的异常

servlet 返回 URL

空空如也

HTTP协议详解学习servlet的必备资料