![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark学习
文章平均质量分 84
不想当小白
唯有读书让我们免于平庸
展开
-
Scala学习——列表List的连接
Scala中列表(List)的连接有三种方法:1、使用操作符“:::”(注:是3个冒号)2、使用方法List.:::()3、使用方法List.concat()举个栗子:object Demo { def main(args: Array[String]) { //创建List val fruit1 = "apples" :: ("or...原创 2019-05-01 16:55:27 · 2361 阅读 · 0 评论 -
Ubuntu系统下载并安装MySQL并在Spark环境下使用jdbc连接MySQL数据库总结
操作系统:虚拟机中搭建的Ubuntu18.04Spark版本:spark-2.3.0-bin-hadoop2.7MySQL版本:JDBC驱动压缩包:mysql-connector-java-8.0.16.jar安装并使用MySQL的前提:已经安装好了Spark并且能正常运行。MySQL的下载安装及配置:1、MySQL的下载安装Ubuntu系统中安装MySQL相当容易,只...原创 2019-05-03 17:08:23 · 2237 阅读 · 0 评论 -
Scala中fold()操作和reduce()操作的区别
reduce()——规约操作,包含reduceLeft()和reduceRight()两种操作。fold()——折叠操作,包含foldLeft()和foldRight()两种操作。两者功能相似,不同之处在于:fold()操作需要从一个初始值开始,并以该值作为上下文,处理集合中的每个元素。reduce()操作举例:scala> val list = List(1,2,3,...原创 2019-05-01 16:35:59 · 3792 阅读 · 1 评论 -
Scala学习——尾递归
在尾递归中,函数可以调用自身,并且该调用时函数的最后一个(“尾部”)操作。尾递归时能把函数优化为循环的重要的一种递归。循环可以消除潜在的栈溢出的风险,同时也因为消除了函数调用开销而提升了效率。尾递归函数中所有递归形式的调用都出现在函数的末尾,当编译器检测到一个函数调用的是尾递归时,会覆盖当前的活动记录而不是在栈中去创建一个新的。尾递归示例:object Demo { def ma...原创 2019-05-01 16:45:44 · 366 阅读 · 0 评论 -
修改log4j.properties文件——输出日志到指定路径的总结
一、log4j.properties是什么简单说就是一个日志的配置文件,其中包含了与日志相关的各种配置信息,修改的话需要管理员权限。在我的Ubuntu虚拟机中的位置:/usr/local/spark-2.3.0-bin-hadoop2.7/conf/log4j.properties(这个是我在做spark实验的时候使用的路径,这样看来不同的环境log4j的位置还不一样嘞……)注:写这篇...原创 2019-05-25 22:10:20 · 6630 阅读 · 0 评论