spark从入门到放弃
yiluohan0307
这个作者很懒,什么都没留下…
展开
-
hadoop2.7.3完全分布式集群搭建
hadoop2.7.3完全分布式集群搭建系统及软件配置: Centos 7 jdk-8u131-linux-x64.tar.gz hadoop2.7.3 节点: spark1(192.168.6.137) spark2(192.168.6.138) spark3(192.168.6.139)原创 2018-02-08 22:40:59 · 363 阅读 · 0 评论 -
JVM实用参数(八)GC日志
JVM实用参数(八)GC日志原文地址:https://blog.codecentric.de/en/2014/01/useful-jvm-flags-part-8-gc-logging/作者:PATRICK PESCHLOW,译者:Greenster 校对:梁海舰本系列的最后一部分是有关垃圾收集(GC)日志的JVM参数。GC日志是一个很重要的工具,它准确记录了每一次的GC的执行时间和执...转载 2018-06-12 14:47:50 · 270 阅读 · 0 评论 -
宽依赖和窄依赖深度剖析
宽依赖和窄依赖深度剖析宽依赖和窄依赖的概念:窄依赖:一个RDD,对其父RDD只有简单的一对一的依赖关系。即父RDD和子RDD的partition的对应关系是一对一的宽依赖:英文名称shuffle dependency本质就是shuffle。也就是说,每个RDD的partition数据都可能有一部分数据传递到下一个RDD的partition中。此时,父RDD和子RDD之间是交互错综复杂的关系,他们原创 2018-04-25 09:39:32 · 623 阅读 · 0 评论 -
Spark内核架构深度剖析
Spark内核架构深度剖析原创 2018-04-25 09:23:37 · 477 阅读 · 0 评论 -
kafka_2.11-0.10.2.0集群安装
kafka集群安装和部署原创 2018-04-23 13:50:21 · 1374 阅读 · 0 评论 -
wordcount基本原理深度剖析
wordcount基本原理深度剖析原创 2018-04-23 12:10:06 · 967 阅读 · 0 评论 -
markdown快捷键
markdown快捷键转载 2018-04-23 11:09:10 · 898 阅读 · 0 评论 -
spark RDD持久化
spark RDD持久化简介spark是分布式基于内存的数据处理引擎,它的一个基本功能是将RDD持久化到内存中。巧妙使用RDD持久化,甚至在某些场景下,可以将spark应用程序的性能提升10倍。对于迭代式算法和快速交互式应用来说,RDD持久化,是非常重要的。cache和persistspark有cache和persist两种方持久化方法。# RDD.scala部分源...原创 2018-04-23 10:35:31 · 732 阅读 · 0 评论 -
6JDBC数据源实战
JDBC数据源实战原创 2018-03-13 14:58:32 · 207 阅读 · 0 评论 -
spark分布式集群搭建
spark分布式集群搭建原创 2018-03-05 14:53:20 · 237 阅读 · 0 评论 -
hive2.1.1的安装
hive2.1.1的安装一、下载安装包并解压下载地址http://mirror.bit.edu.cn/apache/hive/tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local/mv /usr/local/apache-hive-2.1.1-bin.tar.gz /usr/local/hive-2.1.1二、添加环...原创 2018-03-05 14:41:01 · 667 阅读 · 0 评论 -
kafka分布式集群安装
kafka分布式集群安装原创 2018-03-05 14:35:27 · 171 阅读 · 0 评论 -
JSON数据源
JSON数据源原创 2018-03-08 19:18:22 · 1386 阅读 · 0 评论 -
sparkSQL中Dataframe的使用
sparkSQL中Dataframe的使用原创 2018-03-07 10:39:07 · 1075 阅读 · 0 评论 -
spark的前世今生
spark的前世今生一、spark是什么?(介绍)Spark,是一种"OneStack to rule them all"的大数据计算框架,是一种基于内存的分布式计算框架,于2009年诞生于加州大学伯克利分校AMPLab(AMP:Algorithms,Machines,People),它最初属于伯克利大学的研究性项目,后来在2010年正式开源,并于 2013 年成为了 Apache 基金项目,...原创 2019-03-19 20:20:44 · 2405 阅读 · 0 评论