- 博客(6)
- 收藏
- 关注
RSS订阅原创 Hive-数据仓库工具
Hive产生背景 MapReduce编程的不便性 传统RDBMS人员的需要 Hive 由Facebook开源，用于解决海量结构化日志的数据统计问题 构建在Hadoop之上的数据仓库 Hive提供SQL查询语言：HQL 底层支持i多种不同的执行引擎 MR/Tez/Spark Apache Hive数据仓库软件使用SQL语句促进了在分布式存储上的大数据集的读，写和管理。结构可以投射到已存储的数据上...
2020-03-03 11:47:10
248
原创 YARN-分布式资源调度框架
YARN产生背景 YARN(Yet Another Resource Negotiator) YARN的重要思想是将资源管理和作业调度和监视的功能划分到不同的进程中，这一思路产生了一个资源管理者和每个应用的应用管理员，一个应用程序要么是一个作业，要么是一堆作业。 (The fundamental idea of YARN is to split up the functionalities of...
2020-03-03 11:42:19
200
原创 MapReduce-分布式离线计算框架
MapReduce Hadoop MapReduce是一个用于轻松编写程序的软件框架，这些程序以可靠的，容错的方式运行于大型集群中(数千个节点)的商用软件上并行处理大量数据（TB级别数据集）。 MapReduce作业通常是将输入的数据集划分为独立的块,这些块完全由Map Task以完全并行的方式处理。框架将Map的输出进行排序，排序后的结果将被放入Reduce Task。通常，作业的输入输出结果都...
2020-03-03 11:31:24
648
原创 HDFS-分布式文件系统
HDFS Hadoop分布式文件系统(HDFS[Hadoop Distributed File System])是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。H...
2020-03-03 11:18:29
557
原创 Redis 基本增删改查实现
这里写自定义目录标题Redis 基本增删改查实现实现代码数据库工具类操作的通用方法抽象，实现代码复用实现接口具体实现类操作客户界面总结 Redis 基本增删改查实现 通过对redis操作方法的封装，实现基本的增删改查操作。 实现代码 数据库工具类 package utils; import redis.clients.jedis.Jedis; import redis.clients.jedi...
2019-03-26 16:14:43
4318
原创 一步一步的学会Redis
Redis学习体会 通过实例一步步学会Redis Redis作为一种典型的非关系型数据库，通过键值对的方式存储数据，是基于内存的高性能的Key-Value数据库。能够很好的支持主从同步，并且由于其完全实现了订阅/发布机制，对于读取数据的可扩展性操作以及解决数据冗余都很有帮助。 Redis运行速度快，支持丰富的数据类型，支持事务，但与传统的的事务元素ACID不同，其支持CAP原则，即一致性，可用性，...
2019-03-02 10:31:43
109
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人