AbelRose

原创 推荐系统简介

原创 【HBase】— HBase

HBaseNOSQL(Not Only SQL)高并发的更新(插入、修改、删除)、多表关联后的复杂查询(order by、group by)CAP 定理:背景: 解决数据库压力的一个好方法是分摊压力，即扩展为分布式的数据库。但是，可能会带来一些原子性的问题。没有原子性，事务就无从谈起了，关系型数据库也就失去了存在的意义。20世纪90年代初期Berkerly大学有位Eric Brewer教授提出了一个CAP理论。全称是Consistency Availability and Parti

原创 【Kafka】— Kafka

Kafka消息队列内部实现原理点对点模式(一对一)基于拉取或者轮询 。特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。发布/订阅模式(一对多)基于推送的消息传输模型。分为临时订阅者(只在主动监听主题时才接收消息)和持久订阅者(监听主题的所有消息, 即使当前不可用, 处于离线状态)。...

原创 【Flume】— Flume

Flume概念:Cloudera提供的高可用、高可靠、分布式的海量日志***收集***、***整合和传输***的系统。基础架构:Agent一个JVM进程 以***Event***的形式将数据从源头送至目的，包含三个部分。Source:负责接收数据到Flume Agent 组件。(包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy 等类型。)Sink:不断

原创 【Hive】— Hive

HiveFacebook 开源的 用于解决海量***结构化*** 日志的数据统计。基于Hadoop的***数据仓库工具*** 。可以将结构化的数据文件映射为一张表，并提供***类SQL***查询功能。本质是: 将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上优点操作接口采用***类SQL语法***，提供快速开发的能力（简单、容易上手）。避免了去写MapReduce，减少开发人员的学习成本

原创 【Hadoop】— HadoopHA

HadoopHAHadoopHA(Hadoop High Available) 高可用 必须有容错机制HDFS —> NNYARN —> RM如要实现Hadoop的HA，必须保证在NN或RM出现故障时 可以让集群继续使用(避免单点故障)。HDFS —> NN正在提供服务的NN， 必须和备用的NN保持相同的元数据步骤:在active的nn格式化后，将空白的fsimage文件拷贝到所有的nn的机器上active的nn在启动后，将edits文件中的内容发送给Jour

转载 【Hadoop】— zookeeper

zookeeper Zookeeper是什么官方文档上这么解释zookeeper，它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。上面的解释有点抽象，简单来说zookeeper=文件系统+监听通

原创 【Hadoop】— MapReduce Hadoop数据压缩

【Hadoop】— MapReduce Hadoop数据压缩

原创 【Java】— switch-default

switch-default关于switch default 的问题当default 放在最前面的时候class Demo { public static void main(String[] args) { String str = "okk"; switch(str){ default: System.out.println("default"); break;

原创 【Hadoop】— MapReduce(分布式运算程序编程框架)

【Hadoop】— MapReduce(分布式运算程序编程框架)

原创 【Hadoop】— HDFS(Hadoop分布式文件系统)

Hadoop — HDFS

原创 【Hadoop】— 初入江湖

Hadoop

转载 LZ77

版权声明：转载请注明出处！ PS:欢迎大家提出疑问或指正文章的错误！ https://blog.csdn.net/luoshixian099/article/details/50331883 </div> <link rel="stylesheet" href="https://csdni...