大数据
文章平均质量分 95
Vic·Tory
Make your hands dirty
展开
-
Docker的相关概念与使用命令
本文主要对docker相关的镜像、容器化等概念进行了介绍,之后对整个docker生命周期相关的命令操作进行了记录原创 2020-12-09 11:17:58 · 551 阅读 · 0 评论 -
Spark的部署与使用
本文主要对Spark及其组成结构进行了简要介绍,然后记录了采用独立集群模式、yarn集群对Spark进行部署对过程原创 2022-09-01 19:51:05 · 2239 阅读 · 0 评论 -
Kubernetes中的核心机制
本文主要介绍了Kubernetes中相关的机制的使用,例如RBAC访问控制、Ingress服务管理、Helm包管理、PersistentVolume挂载、Secret和ConfigMap配置管理原创 2022-08-29 21:25:09 · 876 阅读 · 0 评论 -
Kubernets的安装与配置
简要介绍了使用Kubeadm搭建K8S集群,并对集群管理工具Kubectl和集群配置文件Yaml进行了介绍转载 2022-07-27 21:20:43 · 488 阅读 · 0 评论 -
使用Zookeeper对集群节点进行管理
本文主要对Zookeeper的安装配置和命令行客户端的使用作了简单介绍,并对集群选举和数据写入原理进行了记录,从而简单地对zookeeper的使用有了直观上的认识。原创 2022-05-19 22:57:10 · 3429 阅读 · 0 评论 -
Scala语言的特性
简要记录了Scala语言的语法结构、变量、函数式编程、面向对象以及常用的集合类原创 2022-05-17 11:01:05 · 4078 阅读 · 0 评论 -
Hadoop中使用Yarn对任务进行管理
本文对Yarn的组成结构、工作原理、常用命令和配置参数进行了简要介绍,之后重点记录了容量调度器和公平调度器的原理和使用方法。原创 2022-05-09 12:14:01 · 2751 阅读 · 0 评论 -
Hadoop的MapReduce框架原理
本文主要从MapReduce框架的InputFormat、Mapper、分区、排序、Combiner、Reducer、OutputFormat等几个方面对框架的数据流动和实现细节进行介绍。原创 2022-05-03 12:05:40 · 1029 阅读 · 0 评论 -
Hadoop中MapReduce的使用
简要介绍了Hadoop中MapReduce的相关概念,并以WordCount为例介绍了MapReduce框架的使用方法,最后实现了MapReduce中序列化对象的过程。原创 2022-05-01 19:37:45 · 3723 阅读 · 0 评论 -
Hadoop中HDFS文件管理系统的使用
HDFS系统的组成,文件读写流程,NameNode和DataNode工作原理,使用Shell命令操作HDFS,使用Client API进行数据操作原创 2022-04-21 12:14:42 · 4719 阅读 · 0 评论 -
Hadoop分布式集群的搭建
大数据相关概念,Hadoop3搭建分布式集群。原创 2022-04-18 22:50:31 · 3081 阅读 · 1 评论 -
初识大数据--Hadoop环境搭建
1 概念1、大数据:在以Hadoop与Spark为代表的框架上经行实时、离线数据处理,数据分析、数据挖掘、机器算法预测分析的技术。为了解决大数据的存储问题,Google提出了MapReduce、BigTable、GFS理论。由此降低了成本,即在PC机上也可完成,而不必用大型机。在硬件故障常态化上,通过软件保证了数据的可靠性。简化了并行分布式计算,无须控制结点同步。开源社区根据谷歌的思想开发了H...原创 2019-05-18 23:06:28 · 353 阅读 · 0 评论