![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
guoxiaojie_415
本科计算机科学技术专业的学生,熟悉C、C++开发,研究生阶段开始学习linux系统运维,机器学习和数据挖掘。
展开
-
大数据技术栈
大数据技术栈全貌下面自底向上介绍各个层的主要项目。1 采集层和传输层Sqoop在hadoop和关系型数据库之间转换数据。FlumeFlume是一个分布式的高可用的数据收集、聚集和移动的工具。通常用于从其他系统搜集数据,如web服务器产生的日志,通过Flume将日志写入到Hadoop的HDFS中。Canal数据抽取是 ETL 流程的第一步。我们...原创 2018-09-02 17:36:28 · 14981 阅读 · 2 评论 -
Spark系列4- Spark Streaming
1 流计算静态数据和流数据静态数据类似存储在水库中的水,是相对静止不动的,如数据仓库中储存的数据、关系型数据库中存储的数据等。流数据是指在时间分布和数量上无限的一系列动态数据合体,数据记录是流数据的最小组成单元。静态数据和流数据的处理,分别对应两种不同的计算模式:批量计算和实时计算。数据的两种处理模型如下图所示。2 Spark StreamingSpark Streaming简介Sp...原创 2018-10-11 09:36:19 · 639 阅读 · 0 评论 -
Spark系列3 - Spark SQL
1 从Shark到Spark SQLSpark SQL的前生是Shark,即Hive on Spark。Shark本质是通过Hive的HQL进行解析,将HiveQL翻译成Spark上对应的RDD操作,然后通过Hive的Metadata获取数据数据库里的元数据,并根据元数据从HDFS上读取文件,最后由Shark将获取的数据放到Spark上运算。Shark提供了类似Hive的功能,区别是Hive将...原创 2018-09-28 18:51:46 · 668 阅读 · 0 评论 -
Spark系列1 - Spark生态和RDD
1 Spark的生态Spark Core中的基本概念DAG(Directed Acyclic Graph), 有向无环图。Spark Core提供了有向无环图的分布式计算框架,并提供内存机制来支持多次迭代计算或者数据共享,大大减少了迭代计算之间读取数据的开销。RDD(Resilient Distributed Dataset),它是一个分布在一组节点中的只读对象集合,这些集合是弹性的,如...原创 2018-09-28 18:49:34 · 476 阅读 · 0 评论 -
Spark系列2 - Spark RDD编程
一、RDD 编程基础1 RDD 创建从文件系统创建RDD textFileval part = sc.textFile("file:///root/software/spark-2.2.0-bin-hadoop2.6/README.md")val part = sc.textFile("hdfs://master:8020/sougou/README.md") <=> (等原创 2018-09-28 18:50:48 · 550 阅读 · 0 评论