- 博客(9)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 Hive的学习和使用
Hive的学习和使用本文是基于CentOS 7.3系统环境，进行hive的学习和使用CentOS 7.3一、Hive的简介1.1 Hive基本概念(1) 什么是hiveHive是用于解决海量结构化日志的数据统计工具，是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能(2) Hive的本质Hive的本质就是将HQL转化成MapReduce程序1.2 Hive优缺点(1) 优点操作接口采用类SQL语法，提供快速开发的能力（简单、容易）
2020-05-29 19:36:07
24111
原创 MapReduce的学习和使用
MapReduce的学习和使用本文是基于CentOS 7.3系统环境，进行MapReduce的学习和使用CentOS 7.31. MapReduce简介1.1 MapReduce定义MapReduce是一个分布式运算程序的编程框架，是基于Hadoop的数据分析计算的核心框架1.2 MapReduce处理过程主要分为两个阶段：Map和ReduceMap负责把一个任务分解成多个任务Reduce负责把分解后多任务处理的结果进行汇总1.3 MapReduce的优点1. MapRed
2020-05-23 11:24:29
27809
1
原创 Zookeeper的学习和使用
Zookeeper的学习和使用本文是基于CentOS 7.3系统环境，进行Zookeeper的学习和使用CentOS 7.31. Zookeeper简介1.1 什么是ZookeeperZookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。1.2 Zookeeper工作机制Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就
2020-05-19 08:55:45
23595
原创 Yarn的学习和使用
Yarn的学习和使用本文是基于CentOS 7.3系统环境，进行yarn的学习和使用CentOS 7.3一、Yarn简介(1) 什么是YarnYarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。(2) Yarn基本架构Apache Hadoop YARN 主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成
2020-05-18 11:20:00
22154
原创 HDFS的学习和使用
HDFS的学习和使用本文是基于CentOS 7.3系统环境，进行HDFS的学习和使用CentOS 7.31. HDFS简介1.1 什么是HDFSHDFS是一个分布式文件系统，用于存储文件，通过目录树来定位文件，适合一次写入，多次读出的场景，不支持文件的修改。1.2 HDFS的优点高容错性数据自动保存多个副本；当某一个副本丢失以后，可以自动恢复适合处理大数据能够处理数据规模达到GB、TB的数据；能够处理百万规模以上的文件数量可以构建在廉价的机器上，通过多副本机制，提供可靠性1
2020-05-12 21:56:18
21423
原创 Hadoop的安装和使用
Hadoop的安装和使用本文是基于CentOS 7.3系统环境，进行Hadoop的安装和使用CentOS 7.3hadoop-2.7.2一、Hadoop简介(1) 什么是HadoopRabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ服务器是用Erlang语言编写的，而集群和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。(2) Hadoop的优势高可靠性Hadoop底层维护多个数据副
2020-05-11 23:10:58
23903
1
原创 RabbitMQ的学习和使用
RabbitMQ的学习和使用本文是基于CentOS 7.3系统环境，进行RabbitMQ的学习和使用rabbitmq-server-3.7.9-1CentOS 7.3一、RabbitMQ简介(1) 什么是RabbitMQRabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ服务器是用Erlang语言编写的，而集群和故障转移...
2020-05-07 23:41:10
19376
原创 Springboot统一异常处理
Springboot统一异常处理本文是基于SpringBoot 2.0.4.release环境，学习和使用通用统一异常处理：一、统一异常处理（1）配置异常处理通知类CommonExceptionHandler.java@ControllerAdvicepublic class CommonExceptionHandler { @ExceptionHandler(LyEx...
2020-05-06 19:09:38
15117
原创 通用mapper的学习与使用
通用mapper的学习与使用本文是基于SpringBoot 2.0.4.release环境，学习和使用通用mapper：一、通用mapper的注解使用（1）@Table建立实体类与数据库表之间的映射关系@Data@NoArgsConstructor@AllArgsConstructor@Table(name = "table_emp")public class Employ...
2020-05-05 23:58:38
16090
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人