- 博客(4)
- 收藏
- 关注
RSS订阅原创 js中导出table为excel支持大数据量
最近工作中遇到了导出table数据的需求，开始写的函数在小数据量的时候可以正常导出，但数据量过大则报网络错误。后来发现是由于浏览器URL有长度限制数据量大的时候长度超过浏览器GET限制，会部分被阻断了导致下载失败。因此将函数改写为下面的形式，采用Blob对象。 //导出数据为Excel的函数 const tableToExcel = (function () { //Excel模板...
2020-02-22 21:38:21
732
1
原创 Spark学习笔记—Spark工作机制
一.Spark执行机制 1.执行机制总览 Spark应用提交后经历一系列转变，最后成为task在各个节点上执行。 RDD的Action算子触发job的提交，提交到Spark的Job生成RDD DAG，由DAGScheduler转换为Stage DAG，每个Stage中产生相应的Task集合，TaskScheduler将任务分发到Executor执行。每个任务对应的数据块，使用用户定义的函数进行处...
2020-02-18 13:15:02
941
原创 Spark学习笔记—Spark计算模型
一.弹性分布式数据集-RDD RDD是Spark核心数据结构，它是逻辑集的实体，在集群中多台机器之间进行数据分区，通过对多台机器上RDD分区的控制，能够减少数据的重排(data Shuffling)。Spark通过partitionBy运算符对原始RDD进行数据再分配从而创建一个新的RDD。通过RDD之间的依赖关系形成了Spark的调度顺序。 1.RDD的几种创建方式： (1).从hadoop文件...
2020-02-16 18:08:50
413
原创 spark学习笔记一
一.spark与hadoop比较 Spark是一个计算框架相当于Hadoop的MapReduce。Hadoop中是包含计算框架MapReduce和分布式文件系统HDFS，更广泛的讲是还包含其生态系统上的其他系统比如Hbase和Hive等。 Spark相比MapReduce的优点： 1.中间结果的输出 （1）MapReduce的话计算结果会产生很多stage，并且会依赖底层HDFS文件系统来存储每个...
2020-02-14 21:44:26
215
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人