大数据
文章平均质量分 94
灵龙阁主
要有梦想,然后再付诸行动!
时间会证明一切,未来你好!
展开
-
Spark(一) :Scala
1 Scala是一门怎样的语言,具有哪些优点 一致性 : 静态类型系统+面向对象+函数式编程 面向对象 : 所有的变量和方法都封装在对象中 函数式编程 :函数可以独立存在,可以定义一个函数作为 另外一个函数的返回值,也可以接受函数作为函数的参数 异步编程 : 函数式编程提倡变量不可变,使得异步编程变得十分容易 基于JVM : Scala会被编译成为Bytecode,所以Scala能无...原创 2018-08-10 11:34:20 · 2397 阅读 · 0 评论 -
HDFS知识点概述
1,HDFS基本概念 基于JAVA实现的一个分布式文件系统 基于unix/linux 是Hadoop最重要的核心组件 支持顺序写入,而非随机定位读写 HDFS不适合用在:要求低时间延迟数据访问的应用,存储大量的小文件,多用户写入,任意修改文件。 HDFS是什么:HDFS即Hadoop分布式文件系统(Hadoop Distributed Filesystem),以流式数据访问模式来存储超大...原创 2018-08-06 16:10:15 · 236 阅读 · 0 评论 -
kafka
1 初识Kafka Apache Kafka最早是由LinkedIn开源出来的分布式消息系统,现在是Apache旗下的一个子项目,并且已经成为开源领域应用最广泛的消息系统之一。Kafka社区非常活跃,从0.9版本开始,Kafka的标语已经从“一个高吞吐量,分布式的消息系统”改为"一个分布式流平台"。 1 Kafka和传统的消息系统不同在于: kafka是一个分布式系统,易于向...原创 2018-08-07 17:37:39 · 295 阅读 · 1 评论 -
Spark(二) :基本架构解析
1,spark基础及体系架构 1.1 spark why? Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势: Spark提供了一个全面、统一的框架用于管理各种有着不同性...原创 2018-08-13 18:23:54 · 635 阅读 · 0 评论