![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
adminastrator
这个作者很懒,什么都没留下…
展开
-
scala实现快排,归并,冒泡,二分查找
快速排序思想快速排序使用分治的思想,选定一个基准点,通过一趟排序将待排序的序列分为左右两个部分,其中左边的部分都比基准点要小,右边的基准点都比基准点要大,之后在分别对左右两边的部分,按照相同的思想继续切分,最终达到一个有序队列的目的复杂度时间复杂度:O(nlog(n))空间复杂度:O(log(n))scala代码实现 def quickSort(list: List[Int]): ...原创 2019-11-26 14:41:54 · 366 阅读 · 0 评论 -
datax安装,任务配置,原理讲解
datax 使用教程总结概要DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。datax致力于关系型数据库和各种异构数据源之间的稳定数据同步设计理念...原创 2019-11-21 13:45:50 · 855 阅读 · 0 评论 -
Hadoop之MapReduce
定义Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架。Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上。MR优缺点优点1.MapReduce 易于编程它简单的实现一些接口,就可以完成一个分布式程序,这个分布式程序可以分布到大量廉价的PC机器上运行。也...原创 2019-08-26 17:28:27 · 280 阅读 · 0 评论 -
idea代码量太大,导致编译阶段出现栈溢出
来源:https://blog.csdn.net/hanxu521111/article/details/44060949解决方案:调整mave的内存(bat文件),调整idea的内存都是没有效果的需要调整pom文件中的编译插件的内存,适当调大,即可解决问题org.apache.maven.pluginsmaven-compiler-plugin3.1true512m104...原创 2019-09-11 18:46:39 · 2711 阅读 · 0 评论