- 博客(10)
- 收藏
- 关注
RSS订阅原创 Giraph 运行流程（一）
前言本文主要分析了 Giraph1.3 SNAPSHOT 的 Job 提交和初始化的过程。其中 Job 提交部分的分析根据运行在 Standalone 模式下的 Hadoop 部分进行，分析仅涉及本地运行时执行的代码， 而初始化部分则主要根据集群模式进行分析。示例 Job该部分不属于源码，而是为了方便分析运行的一个示例 Job，Job 的具体配置和运行在 Giraph 编程实践及源码编译调...
2019-09-23 00:39:44
425
原创 Giraph 编程实践及源码编译调试
前言本文主要总结了如何利用 Giraph 提供的 API 实现图计算编程，并说明了将 Giraph 源码导入 IDEA 进行调试的过程。编程实践本部分通过实现最短路径算法说明 Giraph 的编程流程创建 Maven 工程添加相关依赖<dependencies> <!--添加 Giraph 依赖-->> <dependenc...
2019-09-07 17:32:04
592
原创 Giraph 环境搭建
前言本文主要介绍了 Giraph 的环境搭建过程运行模式Giraph 是基于 Hadoop 开发的上层应用，因此其运行模式取决于 Hadoop 的运行模式。关于 Hadoop 的运行模式请参照 Hadoop 基础之搭建环境 一文。搭建过程本次环境搭建基于 Hadoop 2.5.1 以及 Giraph 1.2.0，系统环境是 Ubuntu 18.04，JDK 版本是 openjdk8。...
2019-08-18 20:17:23
272
原创 Giraph 简介
前言本文主要阐述了 Giraph 由来及其作用，并根据 Giraph 的系统架构和计算模型简要介绍了 Giraph 的运行流程。什么是 GiraphGiraph 是 Google 于 2010 年发布的论文 Pregel: a system for large-scale graph processing 的开源实现。Giraph 是以 Hadoop 为基础开发的上层应用，其系统架构和计算模...
2019-08-12 11:53:13
5087
1
原创 Hadoop 基础之 HDFS 入门
文章目录前言简介体系架构执行流程读文件写文件常用命令文件操作管理编程实例Thanks前言本文主要介绍了 HDFS 的体系架构以及其执行流程，并给出了读写操作的编程实例，希望对 HDFS 有个初步的认识。简介HDFS (Hadoop Distributed File System) 是一个运行在商业 PC 上的分布式文件系统，其设计思想源自于 Google 2003 年发布的论文 The...
2019-05-13 15:42:01
147
原创 Hadoop 基础之搭建环境
文章目录前言运行模式配置过程环境准备Standalone 模式Pseudo-Distributed 模式Fully-Distributed 模式错误Thanks前言本文主要介绍了 Hadoop 的三种运行模式以及配置的方式。运行模式Hadoop 的运行模式分为三种：Standalone（本地模式/单机模式/local模式）该模式下没有任何守护进程，用户程序和 Hadoop 程序运行...
2019-05-05 11:14:44
227
原创 Hadoop 基础之生态圈
前言本文主要目的是介绍 Hadoop 的基本架构以及衍生出来的各种工具，以期对 Hadoop 有个整体的认识。Hadoop 生态系统Hadoop 生态系统是指以 分布式的文件系统 HDFS、分布式的计算框架 MapReduce 以及资源管理器 YARN为基础构成的分布式数据处理系统，其结构图如下图所示：下面将对图中各项组件做一个介绍HDFSHDFS 是 Google 于 2003 ...
2019-04-29 14:43:00
167
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人