大数据IMF传奇行动 IDEA导入spark源代码！ 走入spark源代码世界！

最新推荐文章于 2017-04-03 19:00:42 发布
最新推荐文章于 2017-04-03 19:00:42 发布
阅读量773 收藏
点赞数
分类专栏： 大数据IMF传奇行动－Spark Hadoop
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/50640908
版权
本文介绍了如何在IDEA中导入Spark 1.6.0的源代码，首先讲解了安装和配置Maven的步骤，包括设置国内镜像以加速下载。接着，详细说明了在IDEA中配置Maven设置，指定本地和远程仓库路径。最后，指导从Spark官网下载源码并完成导入过程。
摘要由CSDN通过智能技术生成

maven的setting：

G:\IMFBigDataSpark2016\IMFIdeaWorkspace\tools\apache-maven-3.3.9-bin\apache-maven-3.3.9\conf

<localRepository>G:\IMFBigDataSpark2016\IMFIdeaWorkspace\spark160repository</localRepository>

 

repository：

G:\IMFBigDataSpark2016\IMFIdeaWorkspace\spark160repository

 

spark1.6.0的源代码：

G:\IMFBigDataSpark2016\IMFIdeaWorkspace\tools\spark-1.6.0

 

1. 先要安装maven

１、 去ｍａｖｅｎ官网，先下载
２、 配置maven的ｐａｔｈ，可选。
３、 设置maven的ｓｅｔｔｉｎｇ


1.配置maven
 先配置maven的seeting，使用国内镜像。
    
<mirror>

了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
大数据IMF传奇行动 Spark history-server 配置 ！运维人员的强大工具
段智华的博客
01-29 2791
配置Spark History Server   1. 在Spark的conf目录下/usr/local/spark-1.6.0-bin-hadoop2.6/conf，将spark-defaults.conf.template改名为spark-defaults.conf  mv spark-defaults.conf.template spark-defaults.conf     
大数据IMF传奇行动绝密课程第65课：Spark SQL下Parquet深入进阶
tom_8899_li的博客
03-06 629
Spark SQL下Parquet深入进阶1、Spark SQL下的Parquet序列化 2、Spark SQL下的Parquet源码解读 3、Spark SQL下Parquet总结Parquet中Block、File、ColumnChunk 将数据按列存储时，每一列的数据会被分成多个列块。 存储时有一个逻辑级别的概念RowGroup（行组）。每一列的列块组合起来就是RowGroup。Row
大数据IMF传奇行动绝密课程第44课：真正的Spark功力：性能优化！
tom_8899_li的博客
08-29 930
真正的Spark功力：性能优化！1、Spark性能优化的重要性 2、Spark性能问题在哪里？ 3、什么样的Spark人才会年薪50万以上一、Spark性能优化的重要性 快速解决生产问题、性能优化。故障是什么、故障为什么、快速解决故障 精通Spark性能优化 改造Spark实现 二、Spark性能问题在哪里？ Spark问题的本质是由于基于内存。内存问题中80%由shuffle引起的
大数据IMF传奇行动绝密课程第68课：Spark SQL通过JDBC操作MySQL
tom_8899_li的博客
03-09 534
Spark SQL通过JDBC操作MySQL使用Spark通过JDBC操作数据库 Spark SQL可以通过JDBC从传统的关系型数据库中读写数据，读取数据后直接生成的是DataFrame，然后再加上借助于Spark内核的丰富的API来来进行各种操作；/** * Java代码 */ package com.tom.spark.SparkApps.sql;import java.sql.Conn
大数据IMF传奇行动绝密课程第69课：Spark SQL通过Hive数据源实战
tom_8899_li的博客
03-09 733
Spark SQL通过Hive数据源实战1、Spark SQL操作Hive解析 2、Spark SQL操作Hive实战/** * Scala代码 */ package com.tom.spark.sqlimport org.apache.spark.sql.hive.HiveContext import org.apache.spark.{SparkConf, SparkContext}
大数据IMF传奇行动绝密课程第13课：Spark内核架构解密
tom_8899_li的博客
08-11 494
Spark内核架构解密 Driver：运行程序时具有main方法并且创建SparkContext的环境对象 程序运行的核心 SparkContext，高层调度器DAGScheduler，底层调度器TaskScheduler，也有SchedulerBackEnd 负责向Master注册当前程序，Master给他分配资源，根据Action返回Job，Job里面有一系列的RDD，如果是宽依赖的话就
大数据IMF传奇行动绝密课程第31课：Spark资源调度分配内幕天机彻底解密
tom_8899_li的博客
08-12 927
Spark资源调度分配内幕天机彻底解密一、分配Driver（Cluster） 二、为Application分配资源 三、两种不同的资源分配方式彻底揭秘 四、Spark资源分配的思考一、任务调度与资源调度的区别 1、任务调度是通过DAGScheduler、TaskScheduler、SchedulerBackend等进行的作业调度； 2、资源调度是指应用程序如何获得资源 3、任务调度是在资
大数据IMF传奇行动绝密课程第86课：SparkStreaming数据源Flume实际案例分享
tom_8899_li的博客
04-03 714
SparkStreaming数据源Flume实际案例分享1、Flume简要介绍 2、Spark Streaming on Flume案例介绍
大数据IMF传奇行动绝密课程第14课：Spark RDD解密
tom_8899_li的博客
08-11 463
Spark RDD解密RDD提供了通用的框架 根据自己领域大数据最佳实践建模做新的库spark高手：解决BUG，调优、顶级高手拿源码修改适配自己领域业务RDD基于工作集的应用抽象MapReduce基于数据集位置感知，容错 负载均衡基于数据集的处理，从物理存储上加载数据，然后操作数据，然后写入物理存储设备基于数据集的操作不适用的场景： 1、不适合于大量的迭代 2、交互式查询 重点是：基于数据流
_V_M_D源代码.rar_VMD参数_vmd_vmd分解_源代码_确定VMD参数
07-14
源代码的标题“_V_M_D源代码.rar_VMD参数_vmd_vmd分解_源代码_确定VMD参数”暗示了这个压缩包包含了实现VMD算法的源代码，并且提供了帮助用户理解和调整VMD参数的功能。 VMD是一种基于变分优化理论的时间序列分解...
大数据IMF传奇行动 IDEA 安装运行 编译出错Error:scalac: Multiple 'scala-library*.jar'
段智华的博客
01-16 6621
1、IDEA的下载页面http://www.jetbrains.com/idea/ 2、下载到D:\IMFSpark_SoftWare_ALL\Big_Data_Software、ideaIC- 15.0.2.exe 3、复制到G:\IMFBigDataSpark2016\Bigdata_Software 点击ideaIC- 15.0.2.exe安装    安装路径C:\Program
大数据IMF传奇 第19课 spark 二次排序 使用JAVA自定义key 进行二次排序
段智华的博客
01-24 1364
scala> sc.textFile("/README.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).map(x =>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1)).collect res0: Array[(String, Int)] = Array(("",18), (the,
基于SpringBoot仿天猫购物系统.zip(毕设&课设&实训&大作业&竞赛&项目)
09-20
项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传，可轻松复刻，拿到资料包后可轻松复现出一样的项目，本人系统开发经验充足（全领域），有任何使用问题欢迎随时与我联系，我会及时为您解惑，提供帮助。 【资源内容】：包含完整源码+工程文件+说明（如有）等。答辩评审平均分达到96分，放心下载使用！可轻松复现，设计报告也可借鉴此项目，该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的。 【提供帮助】：有任何使用问题欢迎随时与我联系，我会及时解答解惑，提供帮助 【附带帮助】：若还需要相关开发工具、学习资料等，我会提供帮助，提供资料，鼓励学习进步 【项目价值】：可用在相关项目设计中，皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面，可借鉴此优质项目实现复刻，设计报告也可借鉴此项目，也可基于此项目来扩展开发出更多功能 下载后请首先打开README文件（如有），项目工程可直接复现复刻，如果基础还行，也可在此程序基础上进行修改，以实现其它功能。供开源学习/技术交流/学习参考，勿用于商业用途。质量优质，放心下载使用。
Python网络爬虫与推荐算法新闻推荐平台(毕设&课设&实训&大作业&竞赛&项目)
最新发布
09-20
Python网络爬虫与推荐算法新闻推荐平台：网络爬虫：通过Python实现新浪新闻的爬取，可爬取新闻页面上的标题、文本、图片、视频链接（保留排版） 推荐算法：权重衰减+标签推荐+区域推荐+热点推荐.zip项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传，可轻松复刻，拿到资料包后可轻松复现出一样的项目，本人系统开发经验充足（全领域），有任何使用问题欢迎随时与我联系，我会及时为您解惑，提供帮助。 【资源内容】：包含完整源码+工程文件+说明（如有）等。答辩评审平均分达到96分，放心下载使用！可轻松复现，设计报告也可借鉴此项目，该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的。 【提供帮助】：有任何使用问题欢迎随时与我联系，我会及时解答解惑，提供帮助 【附带帮助】：若还需要相关开发工具、学习资料等，我会提供帮助，提供资料，鼓励学习进步 【项目价值】：可用在相关项目设计中，皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面，可借鉴此优质项目实现复刻，设计报告也可借鉴此项目，也可基于此项目来扩展开发出更多功能 下载后请首先打开README文件（如有），项目工程可直接复现复刻，如果基础还行，也可在此程序基础上进行修改，以实现其它功能。供开源学习/技术交流/学习参考，勿用于商业用途。质量优质，放心下载使用。
THUCNews数据集
09-20
THUCNews数据集
Q音：Vue3+Pinia+Vue Router4+Vant4的移动端仿抖音短视频项目.zip(毕设&课设&实训&大作业&竞赛&
09-20
项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传，可轻松复刻，拿到资料包后可轻松复现出一样的项目，本人系统开发经验充足（全领域），有任何使用问题欢迎随时与我联系，我会及时为您解惑，提供帮助。 【资源内容】：包含完整源码+工程文件+说明（如有）等。答辩评审平均分达到96分，放心下载使用！可轻松复现，设计报告也可借鉴此项目，该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的。 【提供帮助】：有任何使用问题欢迎随时与我联系，我会及时解答解惑，提供帮助 【附带帮助】：若还需要相关开发工具、学习资料等，我会提供帮助，提供资料，鼓励学习进步 【项目价值】：可用在相关项目设计中，皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面，可借鉴此优质项目实现复刻，设计报告也可借鉴此项目，也可基于此项目来扩展开发出更多功能 下载后请首先打开README文件（如有），项目工程可直接复现复刻，如果基础还行，也可在此程序基础上进行修改，以实现其它功能。供开源学习/技术交流/学习参考，勿用于商业用途。质量优质，放心下载使用。
undo-log.sql
09-20
undo-log.sql
vue+SpringBoot730基于JavaScript和vue的商城管理系统设计与实现java毕业设计源码含论文.rar
09-20
jdk版本:jdk1.8+ 前端：vue.js+ElementUI 开发工具：IDEA 或者eclipse都支持 编程语言: java 框架支持：springboot 数据库: mysql 版本不限 数据库工具：Navicat/SQLyog都可以 详细技术：java+springboot+vue+MYSQL+MAVEN 前端采用的Vue框架，后端采用java语言，sprinboot框架，mybatis操作数据源，使用软件：idea,eclipse、MySQL。完成了用户登录管理等模块的设计与实现。完成了系统数据库的设计，并基于MySQL数据库管理系统
希尔伯特黄变换HHT求模态参数详解及Matlab代码示例
提供的代码片段展示了如何对IMF1和IMF2进行Hilbert变换，并显示瞬时振幅和瞬时相位，这对于后续的模态参数估计非常有用。通过观察瞬时幅度的变化，可以推断出信号的频谱特性，而瞬时相位的变化则揭示了信号的相位...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值