xingyao231的博客

学习即为最大的偷懒

大数据十二 spark集群

spark standalone 高可用集群搭建 spark on yarn

2018-11-13 09:42:31

阅读数:85

评论数:0

大数据之四 hadoop HDFS HA 高可用的完全分布式

HDFS HA HA即为High Availability,用于解决NameNode单点故障问题,该特性通过热备的方式为主NameNode提供一个备用者,一旦主NameNode出现故障,可以迅速切换至备用的NameNode,从而实现对外提供更稳定的服务 SecondaryNameNode(冷备):...

2018-11-10 14:07:11

阅读数:99

评论数:0

大数据之九 Hive

hive的简介;hive的三种配置:内嵌,本地和远程;三种连接方式:CLI,JDBC和WEB UI

2018-10-26 15:53:02

阅读数:56

评论数:0

大数据之八 hadoop MapReduce on YARN--WordCount

Hadoop MapReduce WordCount执行过程及代码分析

2018-10-20 17:11:40

阅读数:43

评论数:0

大数据之七 hadoop MapReduce架构

MapReduce的实现架构 MapReduce采用 Master/Slave 架构, 在hadoop1.x版本中,由全局唯一的 Jobtracker(主)和多个 TaskTacker(从)组成。 在MapReduceV2中引入了YARN,将资源调度与任务调度分离

2018-10-19 16:59:56

阅读数:27

评论数:0

大数据之六 hadoop MapReduce原理

mapreduce是hadoop四大组件之一(HDFS,MapReduce,YARN和Comment),是一种分布式计算编程模型,用于解决海量数据的计算问题。 mapreduce采用分而治之的思想,将大文件切割成片,然后由多个map task并行处理,处理完成后交由reduce进行合并再处理

2018-10-18 15:53:33

阅读数:27

评论数:0

大数据之五 hadoop HDFS HA集群客户端+eclipse(java API)配置

搭建好HDFS HA集群后 配置客户端来操作HDFS HA集群 配置eclipse(java API)来操作HDFS集群

2018-10-13 12:23:23

阅读数:593

评论数:1

Linux VMware虚拟机Linux系统配置静态IP

Vmware虚拟机 Linux系统( centos6.5 ) 配置静态IP

2018-10-11 09:37:09

阅读数:56

评论数:1

大数据之三 hadoop HDFS集群完全分布式搭建

HDFS完全分布式集群介绍及搭建 多台服务器,每台服务器启动表示不同角色的不同进程,组成HDFS集群

2018-10-10 21:57:45

阅读数:83

评论数:0

大数据之二 hadoop HDFS集群伪分布式搭建

hadoop HDFS伪分布式模式安装和配置步骤 一台服务器上启动多个进程来表示多个角色 NameNode SecondNameNode DataNode

2018-10-10 08:26:39

阅读数:38

评论数:0

大数据之一 hadoop HDFS分布式文件系统

大数据 hadoop HDFS简介 分布式存储 分布式文件系统

2018-10-10 07:38:00

阅读数:194

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭