![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark2
数字支配万物的流转
利用大数据技术,实现万物皆可联网.
展开
-
第一节 Spark2.3源码解析之spark2-submit程序提交流程
spark-submit脚本应用程序提交流程 一 步骤 1.打包程序提交的流程demo,注意cdh spark2.3.x已改为spark2-submit 2.spark-submit脚本会加载环境变量和jar包,启动spark launcher Main 类; 3.再启动deploy SparkSubmit类,调用里面submit方法执行doRunMain 设置系统参数,应用参数,ch...原创 2018-08-07 16:47:56 · 3476 阅读 · 0 评论 -
第二节 Spark2.3源码解析之SparkContext的创建及源码
一 目录 SparkContext定义 从源码中看出SparkContext包含哪些功能 重点解读createTaskScheduler SparkContext初始化时TaskSchedulerImpl两个接口 资源管理调度策略FIFO和FAIR 二 明细 SparkContext的定义 开发Spark应用的入口,它负责和整个集群进行交互,包括创建RDDs,accumulator...原创 2018-08-07 16:56:15 · 921 阅读 · 0 评论 -
第一章 spark2.3 mllib机器学习简介
本系列”spark mllib机器学习”,均以最新spark2.3.0版本为蓝本进行编写,参考书籍<< spark mllib机器学习 >>黄美灵版,转载请注明出处 目录 机器学习介绍 sp原创 2018-08-31 14:28:19 · 639 阅读 · 0 评论 -
第三章 spark2.3 mllib机器学习-mllib矩阵向量
本系列”spark mllib机器学习”,均以最新spark2.3.0版本为蓝本进行编写,参考书籍<< spark mllib机器学习 >>黄美灵版,转载请注明出处 GitHub地址:https://github.com/future-fu/learnsparkmllib 目录 Breeze介绍 BLAS介绍 Mllib向量 Mllib矩阵 MLlib分布式矩阵 ...原创 2018-09-04 15:27:45 · 392 阅读 · 0 评论 -
第二章 spark2.3 mllib机器学习-数据操作
*本系列”spark mllib机器学习”,均以最新spark2.3.0版本为蓝本进行编写,参考书籍<< spark mllib机器学习 >>黄美灵版,转载请注明出处 GitHub地址:https://github.com/future-fu/learnsparkmllib 目录 部分spark rdd操作 mllib Statistics统计操作 mllib数据...原创 2018-09-03 14:03:24 · 1062 阅读 · 0 评论 -
互联网公司大数据面试题参考指南
以下面试题都是群里小伙伴提供的,现场真题(包含校招题) 1.网易大数据面试题 说说项目 Spark哪部分用得好,如何调优 Java哪部分了解比较好 聊聊并发,并发实现方法,volatile关键字说说 HashMap的底层原理 为什么要重写hashcode和equals 说说jvm 各个垃圾收集器运用在什么情形 jvm调优 说说io 为什么考虑转行呢?是因为原专业不好就业吗? 2.蚂蚁金服面试题 小...转载 2018-09-18 10:24:01 · 712 阅读 · 1 评论