博客专栏  >  云计算/大数据   >  Spark实战

Spark实战

小主自己学习Spark的历程吧,目前正在学习,大家可以一起进步

关注
22 已关注
12篇博文
  • Spark提交参数说明和常见优化

    打开微信扫一扫,关注微信公众号【数据与算法联盟】 转载请注明出处:http://blog.csdn.net/gamer_gyt 博主微博:http://weibo.com/234654758...

    2018-01-23 00:40
    513
  • Spark的伪分布安装和wordcount测试

    一:环境说明              Ubuntu:15.10(不稳定版,建议安装在稳定版,Ubuntu下XX..4是稳定的)              Hadoop:2.6           ...

    2016-06-11 22:31
    3411
  • Spark 的 Shell操作,核心概念,构建独立应用

    1:Spark中的Python和Scala的shell 2:Spark核心概念简介 3:独立应用 4:Spark数据集 一:Spark中的Python 和Scala  的shell     ...

    2016-06-17 19:53
    2415
  • Spark RDD编程(Python和Scala版本)

    Spark中的RDD就是一个不可变的分布式对象集合,是一种具有兼容性的基于内存的集群计算抽象方法,Spark则是这个方法的抽象。        Spark的RDD操作分 和为转化操作(transf...

    2016-06-18 11:08
    7238
  • Spark 的键值对(pair RDD)操作,Scala实现

    一:什么是Pair RDD?          Spark为包含键值对对类型的RDD提供了一些专有操作,这些操作就被称为Pair RDD,Pair RDD是很多程序的构成要素,因为它们提供了并行操作对...

    2016-07-04 15:52
    11372
  • Spark的运行架构分析(一)之架构概述

    1:Spark的运行模式 2:Spark中的一些名词解释 3:spark的运行基本流程 一:Spark的运行模式         Spark的运行模式多种多样,灵活多变,部署在单机上时,既可以用本...

    2016-07-05 19:33
    10114
  • Spark的运行架构分析(二)之运行模式详解

    在上一篇博客  spark的运行架构分析(一)中我们有谈到Spark的运行模式是多种多样的,那么在这篇博客中我们来具体谈谈Spark的运行模式

    2016-07-05 19:34
    8061
  • Spark集群启动python shell错误: Could not resolve hostname localhost: Temporary failure

    Spark启动bin/pyspark报错:socket.gaierror: [Errno -3] Temporary failure in name resolution的解决办法

    2016-08-01 10:12
    4657
  • 带你走进Spark编程之Scala入门

    1:什么是Scala? Scala是一门多范式的编程语言,类似于Java,并集成了面向对象编程和函数式编程的各种特性,具体可参考知乎上的一个帖子 2:本篇博客包含哪些内容? Sca...

    2016-08-04 14:12
    4918
  • IDEA构建Spark编程环境和用Scala实现PageRank算法

    Idea 搭建Spark开发环境,并测试运行SparkPI示例,Shell脚本运行PageRank算法,打包在Spark集群上运行

    2016-08-09 14:42
    2292
  • 使用Python+jieba和java+庖丁分词在Spark集群上进行中文分词统计

    本篇博客也是在做豆瓣电影数据的分析过程中,需要对影评信息和剧情摘要信息进行分析而写的一篇博客 以前学习hadoop时,感觉做中文分词也没那么麻烦,但是到了Spark,却碰到了诸多困难,...

    2016-08-23 17:40
    8318
  • Spark RDD编程(二)

    RDD的分区函数 | RDD的基本转换操作 | repartition 和 coalesce | randomSplit和glom | mapPartitions和mapPart...

    2016-09-14 12:35
    3402
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部