2018年02月_vinfly_li

原创 Kafka全解析

kafka标签（空格分隔）： Kafka一. ConceptsKafka is used for building real-time data pipelines and streaming apps分布式消息传递网站活跃数据跟踪日志聚合流式数据处理数据存储事件源……Kafka terminology 术语1.TopicsKafka...

2018-02-28 10:28:22 47497 10

原创 Flume + Kafka + TridentStorm + Hbase项目实战

2018-02-28 10:21:10 1696

原创 Spark基础全解析

SPARK全解析标签（空格分隔）： SparkSPARK全解析Spark是什么？Spark 源码编译Spark本地模式安装配置及Spark Shell基本使用Spark集群Spark Application开发、运行及监控（IDEA）Spark 日志监控（HistoryServer）配置Spark RDDSpark共享变量Spark 内核Spark 依赖Spa...

2018-02-28 10:05:32 23883

原创 Redis DB开发指南

Redis DB标签（空格分隔）： Redis 1,概述：Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API2,安装、编译Redis安装、编译[hadoop@bigdata01 sdb4]$ lsapache app eclipse idea-141 l...

2018-02-28 10:31:09 2299

原创 Azkaban基础指南

Azkaban标签（空格分隔）： AzkabanAzkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs. Azkaban resolves the ordering through job dependencies and provides an easy to use web u...

2018-02-28 10:26:45 1313

原创 Hive基础指南

Hive指南标签（空格分隔）： HiveHIVE基本介绍Hive是由FaceBook开源的用于解决海量结构化日志的数据统计，后成为Apache Hive的一个开源项目，Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL（也成为HQL）查询功能，它的本质是将HQL转化为MapReduce程序，灵活性和扩展性比较好，支持自定义函数（UDF）...

2018-02-28 10:23:45 670

原创 Flume指南

Flume基础标签（空格分隔）： FlumeFlume概述Flume是一个分布式的,可靠的,可用的,非常有效率的对大数据量的日志数据进行收集,聚集,移动信息的服务,Flume仅仅运行在linux环境下,它是一个基于流式的数据的灵活的架构,具有健壮和容错性,官网中这样解释健壮和容错: The events are staged in a channel on each agen...

2018-02-28 10:15:51 1255

原创 Apache Beam指南

Apache Beam标签（空格分隔）： Hadoop1. What is Beam ?前世今生:诞生背景: 分布式数据处理发展迅猛 –> 新的分布式数据处理技术越来越多 –> Hadoop MapReduce，Apache Spark，Apache Storm，Apache Flink，Apache Apex –> 新技术高性能 , 受欢迎,人们喜...

2018-02-28 10:12:37 13288 2

原创 Scala基础语法指南

Scala标签（空格分隔）： Scala By VinflyScalaScala介绍Scala语法声明变量数据类型与操作符函数调用和apply()函数条件控制和循环函数数组数组转换Map与Tuple面对对象编程之–类面向对象编程之对象面向对象之继承面向对象编程之Trait函数式编程引言语法函数式编程之集合操作模式匹配类型参数隐式转...

2018-02-28 10:08:26 4108

原创 Hbase基础全解析

HBASE基础全解析标签：大数据生态本文使用版本 hbase-0.98.6-cdh5.3.6 源码库： https://github.com/apache/hbase/releases 注：rel = release即发行版本， RC=Release Candidate即候选发行版 Write By VinFlyHBASE概述HBASE概述HBASE是...

2018-02-28 09:40:56 6004 2

vinfly_li的博客