Hadoop实战&源码分析系列，持续更新

置顶 已于 2023-11-20 20:04:28 修改
阅读量205 收藏
点赞数
分类专栏： Hadoop&Hive 文章标签： 大数据 hadoop hive
于 2020-12-08 18:27:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lidongmeng0213/article/details/110879123
版权

Hadoop

实战

MAC单机hadoop环境搭建&Wordcount实现
mr实现join的功能–Map端Join
mr实现join的功能–Reduce端Join

源码分析

Hadoop源码分析之文件拆分

Hive

基础

Hive实战-建表相关操作
一文讲懂Hive窗口函数

UDF

Hive深入浅出UDF
Hive深入浅出UDAF
Hive深入浅出UDTF
Hive深入浅出Transform-Scripts
Hadoop深入浅出Hadoop Streaming&MRJob

执行计划

Hive执行计划分析之group by执行计划分析

调优

Hive常见调优总结
Hive调优之map&reduce数目

小白数据猿
关注
专栏目录
Hadoop实战系列之MapReduce 分析 Youtube视频数据_hadoop 怎么解析视频文件(1)
afagagagaa的博客
05-06 961
双击桌面上的eclipse图标，创建项目：file->other->Map/Reducer Project->Next->Project name创建名为VideoCount的项目名，然后创建名为com.zout的包，接着在包里面创建一个java类，类名为VideoCount，在运行一个 MR 程序时，任务过程被分为两个阶段：Map 阶段和 Reduce 阶段，每个阶段都是用键值对作为输入和输出。，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。编码完成以后，我们可以需要导出jar包。
Hadoop 数据仓库建设实践（理论结合实践）_hadoop完成数据预处理、建立数据仓库、进行数据分析和数据导出
最新发布
2401_84165953的博客
05-03 836
前面和大家分享了，维度建模的理论基础，包括维度表设计的方法论和深入剖析了事实表，今天就理论结合实践，和大家聊聊完整的一个数仓构建的过程！数据的重要性和战略意义毋庸置疑，目前业界也都在热火朝天地将大数据战略落地和用于实战。物理数据平台的搭建包括硬件、大数据工具和技术的选型、购买、搭建等；逻辑数据平台的搭建则包含数据平台架构设计、数据规范制定、数据开发实施和维护等。
Hadoop源码解读
管子（zero）的杂乱空间
01-06 775
Hadoop源代码分析（一） 关键字:分布式云计算 完整文章及图，在我的资源里面，可以去下载。Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleCluster：http://research.google.com/archive/googlecluster.html Chubby：http://labs.google.c...
Hadoop源代码分析
tiandirensoon
07-19 122
一个典型的HDFS系统包括一个NameNode和多个DataNode。NameNode维护名字空间；而DataNode存储数据块。 DataNode负责存储数据，一个数据块在多个DataNode中有备份；而一个DataNode对于一个块最多只包含一个备份。所以我们可以简单地认为DataNode上存了数据块ID和数据块内容，以及他们的映射关系。 一个HDFS集群可能包含上千DataNode节点，...
Hadoop源代码分析 - HDFS
csr_hema的专栏
02-23 662
Hadoop 源代码分析（1）overview http://caibinbupt.javaeye.com/blog/262412 Hadoop 源代码分析（2）package http://caibinbupt.javaeye.com/blog/270378 Hadoop 源代码分析（3）org.apache.hadoop.io http://caibinbupt.
Hadoop源码分析（完整版）
06-06
Hadoop源码分析（完整版）,详细分析了Hadoop源码程序，为学习Hadoop的人提供很好的入门指导
Hadoop源码分析（一）
LittleBiscu1t的博客
10-10 375
2021SC@SDUSC 要分析Hadoop中MapReduce部分的源码，我们需要先了解MapReduce的基本流程： 以 Hadoop 带的 wordcount 为例子（下面是启动行）： hadoop jar hadoop-0.19.0-examples.jar wordcount /usr/input /usr/output 用户提交一个任务以后，该任务由 JobTracker 协调，先执行 Map 阶段（图中 M1，M2 和 M3），然后执行 Reduce 阶段（图中 R1 和 R2）。Map
hadoop经典系列(十一)性能分析实验初步
08-03
8. **源码分析**： 对Hadoop源码的理解有助于深入剖析性能问题，通过定制和优化关键组件，可能实现更高效的解决方案。 9. **实战经验**： 文章链接提供的博客中可能包含作者的实践经验和案例，这些实际操作经验...
Hadoop源代码分析完整版.rar
03-13
《Hadoop源代码分析》 Hadoop作为大数据处理的核心组件，其源代码是理解分布式计算原理和技术实现的重要入口。这份“Hadoop源代码分析完整版”文档深入剖析了Hadoop的内部工作机制，帮助我们深入了解这一开源框架的...
java+大数据相关框架实战项目(Hadoop, Spark, Storm, Flink).zip
08-17
这个名为"java+大数据相关框架实战项目(Hadoop, Spark, Storm, Flink).zip"的压缩包文件，包含了四个核心的大数据处理框架——Hadoop、Spark、Storm和Flink的实战项目源码，这些框架都是Java开发的，用于解决大规模...
Hadoop源代码分析（一）
08-04
NULL 博文链接：https://xinyu4856.iteye.com/blog/2023886
Hadoop源代码分析(完整图文版) part 1
热门推荐
集成显卡的开源主页 https://github.com/0604hx
11-26 1万+
Hadoop源代码分析（一） 关键字: 分布式 云计算  Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。  GoogleCluster： http://research.google.com/archive/googlecluster.html  Chubby：http://labs.google.com/papers/chubb
Hadoop源码解析
m0_67991849的博客
05-11 949
Hadoop源码解析
Hadoop源码分析（1）
qq_39210987的博客
02-21 277
1、 简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop起源于谷歌发布的三篇论文：GFS、MapReduce、BigTable。其中GFS是谷歌的分布式文件存储系统，MapReduce是基于这个分布式文件存储系统的一个计算框架，BigTable是一个分布式的数据库。hadoop实现了论文GFS和MapReduce中的内容，Hbase的实现了参考了论文BigTable。 2、 hadoop架构 hadoop主要有三个组件：HDFS、YARN和MapReduce。其中YARN是
Hadoop源代码分析（MapReduce概论）
luyee2010的专栏
02-28 4283
2009-02-21 Hadoop源代码分析（MapReduce概论） 大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的还是有一定的理解的，而且也有很好的文档。在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。下面的图来自http://horicky.blogspot.com/
hadoop源码分析（MapReduce）
anhuidelinger的专栏
10-22 7430
原文地址：http://wwangcg.iteye.com/category/171858【good 也有其他方面的内容】 hadoop 源码分析(一) jobClient 提交到JobTracker 博客分类：  hadoop hadoopjobclientjobTracker        Hadoop 用了2年多了.从最初一起创业的11人20台服务
Hadoop实战：电子商务推荐系统设计与Mahout算法
"Hadoop应用开发实战案例 - 第6周 电子商务推荐系统设计(Map-Reduce)由讲师张丹在DATAGURU专业数据分析社区讲解。课程涵盖项目背景、需求分析、算法模型、架构设计、程序开发等内容，重点在于使用Mahout实现基于Map-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值