大数据
titer1
一个爱弄墨水的程序员
www.drysaltery.com
展开
-
MapReduce 2.0应用场景、原理与基本架构 | mapreduce顺序图 + mapreduce动图
MapReduce基本原理 MapReduce编程模型 MapReduce架构 MapReduce任务调度器 MapReduce应用场景mapreduce顺序图 + mapreduce动图原创 2017-04-08 16:37:28 · 2006 阅读 · 0 评论 -
实战hadoop海量数据处理系列05 : 实现点击流日志的数据清洗模块
实战hadoop海量数据处理系列05 : 实现点击流日志的数据清洗模块之前已经实现结构化数据的清洗,下一步我们将实现半结构化(非结构化)数据的清洗。在阅读本文前,强烈建议阅读原书“实现点击流日志的数据清洗模块”章节。本文的代码同步于github,相关地址如下:[github地址](https://github.com/titer1/Play_HadoopFelix)原创 2017-06-10 21:02:50 · 5310 阅读 · 2 评论 -
实战hadoop海量数据处理系列04预热篇:窗函数row_number 从理论到实践
实战hadoop海量数据处理系列04预热篇:窗函数row_number 从理论到实践作者写第一版书的时候,,hive还没有官方支持row_number,需要使用UDF来实现额外的jar; 不过幸运的是,从hive 0.11过后,官方就加入这个函数,所以入门更容易啦。1 row_number定义结合情景分析row_number()over (partition by tran_idorder by原创 2017-06-09 12:28:08 · 1183 阅读 · 0 评论 -
实战hadoop海量数据处理系列02 番外篇: 在linux上使用hql执行工具 | hive排错记录
实战hadoop海量数据处理系列02 番外篇: 在linux上使用hql执行工具 | hive排错记录本文假设读者已经按照范老师的书搭建好了eclipse环境,并且已经导入myBi文件夹下面的子工程。https://github.com/titer1/Play_HadoopFelix原创 2017-06-09 09:58:46 · 1829 阅读 · 0 评论 -
实战hadoop海量数据处理系列02: hql执行工具
实战hadoop海量数据处理系列02: hql执行工具本文假设读者已经按照范老师的书搭建好了eclipse环境,并且已经导入myBi文件夹下面的子工程。在阅读本文前,强烈建议阅读原书“实现数据分析工具模块”章节。本文的代码同步于https://github.com/titer1/Play_HadoopFelix1 原理图 对比数据导入章节的结构图,你会发现本章原理类似,先解析xml,然后触发命令。原创 2017-06-07 10:58:04 · 1435 阅读 · 0 评论 -
实战hadoop海量数据处理系列03 :数据仓库的设计
#实战hadoop海量数据处理系列03 :数据仓库的设计鉴于我们之前两章提前预热的开发环境,我们现在来讨论数据仓库的设计,其实本章应该放到一个正式的项目的前端,不过好事总会要来的,准备好数据仓库,我们就可以实地验证sqoop等程序的逻辑。Let's go!本文的代码同步于https://github.com/titer1/Play_HadoopFelix原创 2017-06-07 12:09:21 · 5002 阅读 · 7 评论 -
实战hadoop海量数据处理系列 01:数据导入篇
实战hadoop海量数据处理系列 01:数据导入篇本文假设读者已经按照范老师的书搭建好了eclipse环境,并且已经导入myBi文件夹下面的子工程。在阅读本文前,强烈建议阅读原书“实现数据导入导出模块”章节。原创 2017-06-07 08:59:08 · 4074 阅读 · 0 评论 -
实战hadoop海量数据处理系列:序
#实战hadoop海量数据处理系列:序 先讲述我我和范老师书的缘分,第二是对代码的思考,第三是自己的进度,第四是对进度进行展望。原创 2017-06-07 07:36:16 · 1751 阅读 · 2 评论 -
配置hive的坑 hive-site.xml:2787:3: The element type "configuration" must be terminated by the matching
hivehive-site.xml 2787原创 2017-04-01 18:31:04 · 14459 阅读 · 3 评论 -
缓解数据倾斜的方案浅谈
缓解数据倾斜的方案浅谈原创 2017-09-29 18:36:05 · 581 阅读 · 0 评论