JAVA大数据
啊嘞嘞嘞嘞
博客内容仅为个人三维案例研究展示。不经常上博客。
展开
-
[hadoop] hadoop 命令
Hadoop fs命令 1. hdfs基本操作 hadoop fs类似于hdfs dfs 1. 如何查看hdfs子命令的帮助信息,如 令 hdfs dfs -help rmdir 2. 查看hdfs文件系统 经存在的 hdfs dfs -l hadoop fs -ls / 3. dfs文件系统中创 文件 fs d s -touchz /1.txt 4. 从本地路径上传文件至HDFS hdf...原创 2019-07-12 23:28:05 · 141 阅读 · 0 评论 -
[hadoop] hadoop分布式文件系统流程
* 分布式文件系统 在学习一个文件系统时,首先我先想到的是,学习它能为我们提供什么样的服务,它的价值在哪里,为什么要去学它。以这样的方式去理解它之后在日后的深入学习中才能够对它有一个更深层次的理解。 1. 什么是分布式文件系统 所谓的分布式文件系统,我的个人理解是管理网络中把数据存储在不止一台机器上的系统,这样的存储方式被称为分布式存储。(管理网络中跨多台计算机存储的文件系统称为分布式文...原创 2019-07-13 00:01:13 · 245 阅读 · 0 评论 -
[hadoop] 环境搭建
从零开始 pdf文档: 链接:https://pan.baidu.com/s/1A0NOPCRyf7rJZEe3KNKfjQ 密码:dmsw 说明: # 说明: 1.教程中出现字体**加粗和加红**的说明需要大家仔细阅读,按照步骤进行安装,都是比较重要的细节,如果有同学忘记或者跳过说明的步骤,环境大家的过程中问题会非常的多. 2.本教程主要引导同学进行hadoop 2.x版本...原创 2019-07-09 21:23:03 · 281 阅读 · 0 评论 -
[hadoop] hadoop之Mapreduce并行编程模型
MapReduce入门 什么是mapreduce 首先让我们来重温一下 hadoop 的四大组件: HDFS:分布式存储系统 MapReduce:分布式计算系统 YARN: hadoop 的资源调度系统 Common: 以上三大组件的底层支撑组件,主要提供基础工具包和 RPC 框架等 Mapreduce 是一个分布式运算程序的编程框架,是用户开发“基于 hadoop 的数据...原创 2019-07-13 19:31:09 · 1039 阅读 · 0 评论 -
[hadoop] zookeeper分布式协调服务
zookeeper 1.ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户 2.ZooKeeper提供了什么? 1)文件系统 2)通知机制 3.Zookeeper文件系统 每个子目录...原创 2019-07-23 23:27:16 · 188 阅读 · 0 评论 -
[hadoop] hadoop之yarm资源调度
YARN YARN(Yet Another Resource Negotiator)是Hadoop2.0集群中负责资源管理和调度以及监控运行在它上面的各种应用,是hadoop2.0中的核心,它类似于一个分布式操作系统,通过它的api编写的应用可以跑在它上面,支持临时和常驻的应用,集群的资源可以得到最大限度的共享。资源是指CPU,内存,硬盘,带宽等可以量化的东西。 YARN 概述 YA...原创 2019-07-17 23:18:18 · 439 阅读 · 0 评论 -
[hadoop] hadoop性能优化 模拟读写分离核心代码
package com.simulation.core; import java.util.LinkedList; import java.util.concurrent.atomic.LongAdder; /*** AtomicLong的实现原理是:利用底层操作系统的CAS来保证原子性,在一个死循环内不断执行CAS操作,直到操作成功。不过,CAS操作的一个问题是在并发量比较大的时候,可能很多...原创 2019-07-30 16:35:39 · 203 阅读 · 0 评论 -
[hadoop] hadoop二次开发 阅读源码
学习目标 hadoopRPC实现原理 namenode工作原理 datanade工作原理 RPC: 1.客户端调用服务端的方法, 2.服务端初始化的时候会创建一个死循环的进程,供客户端调用 3.RPC :Remote Procedure Call不同进程间方法的调用 4.Hadoop RPC: 不同进程的方法的调用 5.http也是一种RPC:可以实现不同进程的方法的调用 实例...原创 2019-08-06 22:32:16 · 575 阅读 · 0 评论