- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 hadoop学习笔记——NO.6_MapReduce_1
hadoop学习笔记——NO.6_MapReduce_11.MapReduce原理篇（1）MapReduce是一个分布式运算程序的编程框架，是用户开发”基于hadoop的数据分析应用”的核心框架。 Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。1.1 为什么要MAPREDUCE 1、...
2018-05-19 22:33:23
225
原创 hadoop学习笔记——NO.5_HADOOP分布式文件系统HDFS
Hadoop分布式文件系统HDFSHDFS前言设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析在大数据系统中作用为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务重点概念：文件切块，副本存放，元数据HDFS的概念和特性首先，它是一个文件系统，用于...
2018-04-22 16:14:12
436
原创 hadoop学习笔记——NO.4_HADOOP集群搭建与使用初步
HADOOP集群搭建与使用初步HADOOP集群搭建集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManager /NodeMana...
2018-04-15 23:57:44
255
原创 hadoop学习笔记——NO.3_轻量级RPC原理学习
轻量级RPC框架学习RPC原理 RPC(Remote Procedure Call Protocol)——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加...
2018-04-08 19:04:45
265
原创 hadoop学习笔记——NO.2_zookeeper
ZookeeperZookeeper概念简介：Zookeeper是一个分布式协调服务，就是为用户的分布式应用程序提供协调服务 1、zookeeper是为别的分布式程序服务的 2、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活，zk就能正常服务) 3、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、...
2018-04-01 20:06:48
1108
原创 hadoop学习笔记——NO.1_Linux常用操作
hadoop学习笔记——NO.1linux的命令操作1、日常操作命令查看当前所在的工作目录pwd查看当前系统的时间date查看有谁在线(哪些人登陆到了服务器）who #查看当前在线last #查看最近的登陆历史记录2、文件系统操作ls / #查看根目录下的子节点（文件夹和文件）信息ls -al #-a...
2018-03-24 22:05:59
261
Achartengine jar包+API文档+示例代码
2015-04-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人