SparkV1.5源码编译版通过

最新推荐文章于 2016-10-20 12:17:13 发布
最新推荐文章于 2016-10-20 12:17:13 发布
阅读量487 收藏
点赞数
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sparkexpert/article/details/49121271
版权
　　经过编译，终于将Spark新版本的几个子工程全部编译通过，没有采用GITHUB的方式，采用逐个工程添加代码＋JAR包的方式编译通过。

　　Spark强大的框架，通过源码的学习分析将为后续利用Spark提供基础平台。

      采用编译环境：Scala IDE + Scala 2.10.5 + Win7
 
          欢迎交流学习，邮箱号： sparkexpert@sina.com

SparkV1.5源码编译版通过

SparkV1.5源码编译版通过

sparkexpert
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SparkV2.2.0_hadoop2.7.txt
04-17
spark-2.2.2-bin-hadoop2.7.tgz 百度网盘
09-SparkV1.2(PySpark)-LAPTOP-G48G0MSR.docx
10-13
Spark源码的编译可以通过Apache官网获取，根据文档说明进行编译，最终得到可执行的Spark二进制文件。 二、PySpark配置 使用PySpark时，需设置PYSPARK_PYTHON环境变量，指向Python3的安装路径。启动PySpark可以使用....
spark dataframe操作集锦（提取前几行，合并，入库等）
热门推荐
大数据挖掘SparkExpert的博客
04-02 9万+
spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。 在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。 首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。 而合并就用到union函数，重新入库，就是registerTemple注册成表，再进行写入到HIVE中。
Spark RDD(DataFrame) 写入到HIVE的代码实现
大数据挖掘SparkExpert的博客
03-23 2万+
在实际工作中，经常会遇到这样的场景，想将计算得到的结果存储起来，而在Spark中，正常计算结果就是RDD。 而将RDD要实现注入到HIVE表中，是需要进行转化的。 关键的步骤，是将RDD转化为一个SchemaRDD，正常实现方式是定义一个case class. 然后，关键转化代码就两行。 data.toDF().registerTempTable("tabl
spark读取多个文件夹(嵌套)下的多个文件
大数据挖掘SparkExpert的博客
05-05 2万+
在正常调用过程中，难免需要对多个文件夹下的多个文件进行读取，然而之前只是明确了spark具备读取多个文件的能力。 针对多个文件夹下的多个文件，以前的做法是先进行文件夹的遍历，然后再进行各个文件夹目录的读取。 今天在做测试的时候，居然发现spark原生就支持这样的能力。 原理也非常简单，就是textFile功能。编写这样的代码，读取上次输出的多个结果，由于RDD保存结果
Spark 2.0 DataFrame map操作中Unable to find encoder for type stored in a Dataset.问题的分析与解决
大数据挖掘SparkExpert的博客
10-20 1万+
随着新版本的spark已经逐渐稳定，最近拟将原有框架升级到spark 2.0。还是比较兴奋的，特别是SQL的速度真的快了许多。。   然而，在其中一个操作时却卡住了。主要是dataframe.map操作，这个之前在spark 1.X是可以运行的，然而在spark 2.0上却无法通过。。 看了提醒的问题，主要是： ******error: Unable to find encod
如何避免spark dataframe的JOIN操作之后产生重复列（Reference '***' is ambiguous问题解决）
大数据挖掘SparkExpert的博客
10-17 1万+
spark datafrme提供了强大的JOIN操作。 但是在操作的时候，经常发现会碰到重复列的问题。如下： 如分别创建两个DF，其结果如下： val df = sc.parallelize(Array(     ("one", "A", 1), ("one", "B", 2), ("two", "A", 3), ("two", "B", 4) )).toDF("
spark sql 无法访问 hive metastore问题解决
大数据挖掘SparkExpert的博客
12-11 1万+
Spark SQL on Hive是Shark的一个分支，是HIVE执行分析引擎的一个重要利器。在Spark 1.5.1的时候，可以非常简单地在spark shell中进行Hive的访问，然而到了Spark 1.5.2时，发现进入Spark Shell的时候，总是出现报错，其原因总是无法访问hive的metastore,从而无法进行各种操作，相当的烦人的。 看了说明，说是要配置hive th
spark访问Redis并进行操作
大数据挖掘SparkExpert的博客
01-07 1万+
Redis是一种高性能的内存数据库，其应用场合非常广泛，在一些实时性要求比较高的场景中，以Redis作为架构来实现的是比较多的。 Redis提供了好几种数据结构，如Set, List, Hash等。可以适应不同的场合要求。 但是也发现Redis存在一个问题，其没有表格的概念，而是以字典（键空间）的方式来管理的，这与传统的SQL方式是不大像的。 为了实现对Redis的高
对spark dataframe join之后的列值NULL值进行填充为指定数值的操作
大数据挖掘SparkExpert的博客
10-17 1万+
众所周知，两个数据集如A，B取JOIN操作的时候，其结果往往会出现NULL值的出现。 这种情况是非常不利于后续的分析与计算的，特别是当涉及到对这个数值列进行各种聚合函数计算的时候。 针对这种问题，当然从最简单的dataframe.map来处理是一种快速方法。 然而今天在针对这个问题解决的时候，发现spark还提供了一个高级操作，就是：na.fill的函数。
spark批量读取大量小文件的办法
大数据挖掘SparkExpert的博客
03-17 1万+
在实际工程中，经常会遇到要一起读取众多小文件的办法。本来正常情况下是进行文件夹的遍历。 幸运的是，spark原生是支持这种功能的。它可以批量地读取众多的文件，也可以按照一定的方式进行过滤。 命令十分简单。如下： sc.textfile("/dir/*.txt") 其中DIR就是路径，而＊.txt则是对某种类型的文件进行过滤。 通过这种方式，可以直接实现对众
Spark R安装成功的步骤
大数据挖掘SparkExpert的博客
10-14 1万+
欢迎交流学习： Email : sparkexpert@sina.com 网上有很多关于spark R的安装过程，但是按照那个过程总是出错。当然最常见的问题是： Launching sbt from sbt/sbt-launch-0.13.6.jar Error: Invalid or corrupt jarfile sbt/sbt-launch-0.13.6.jar make: *** [t
initial job has not accepted any resources的spark错误解决办法
大数据挖掘SparkExpert的博客
03-04 9744
在运行多个spark应用程序的时候，经常会出现initial job has not accepted any resources的错误。 而如果用spark-submit方式提交的话，经常是结果不显示。而在监控网页上看到的是状态一直在waiing.如下所示。 经过仔细检查，发现是CORES的问题，由于之前的程序将CORES全部占用，而后来的任务没有足够的CPU来支撑，
spark深度学习算法(CNN卷积神经网络）的测试与分析
大数据挖掘SparkExpert的博客
11-03 9566
卷积神经网络（Convolutional Neural Network,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 　　关于CNN的一些发展信息，很多文献上都有。下面摘抄一段：（来自于http://www.36dsj.com/archives/24006） 　　“卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。2
spark-submit动态提交的办法（SparkLauncher实战）
大数据挖掘SparkExpert的博客
04-02 9511
spark程序编译完成后，一般都要传送到spark-submit进行调用。 然而为了使程序更加易于集成，需要spark-submit能够动态化 SparkLauncher是spark提供的外部调用的接口。 Package org.apache.spark.launcher Description Library for launching Spark applica
利用spark进行层次社团发现(louvain算法测试)
大数据挖掘SparkExpert的博客
12-23 9098
社团是复杂网络科学中一种重要的拓扑结构，也是物以类聚，人以群分自然现象在网络中的一种反映。因此对复杂网络进行社团发现是SNA(社会网络分析)中重要的内容之一。 现在的社团发现算法层出不穷，有非常多非常优秀有社团发现算法。其中louvain的快速社团发现算法是一种高效的层次社团发现算法。按照其主页上的原理英文就是： “First, it looks for "small" communi
基于spark的网络爬虫实现
大数据挖掘SparkExpert的博客
12-28 7735
爬虫是获取网络大数据的重要手段，爬虫是一种非常成熟的技术了，然而想着在spark环境下测试一下效果． 还是非常简单的，利用JavaSparkContext来构建，就可以采用原来java中的网页获取那一套来实现． 首先给定几个初始种子，生成一个JavaRDD对象即可         JavaRDD rdd = sc.parallelize("urllist");
java源码资源学生课程管理系统java源码资源学生课程管理系统
08-24
java源码资源学生课程管理系统java源码资源学生课程管理系统提取方式是百度网盘分享地址
tl-wr841n-v8-openwrt cc 15.05.1+redsocks2-0.66+cdns+全依赖
最新发布
08-24
tl-wr841n-v8-openwrt cc 15.05.1+redsocks2_0.66+cdns+全依赖
PySpark学习指南：从环境搭建到SparkSQL与SparkStreaming
"09-SparkV1.2(PySpark)-LAPTOP-G48G0MSR.docx" 本文档详细介绍了如何学习和使用Apache Spark的PySpark接口，特别是针对Spark 2.3版本，该版本对Python的支持已经非常成熟。文档首先列出了课程安排，涵盖从环境搭建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值