- 博客(11)
- 收藏
- 关注
RSS订阅原创 Scala函数saveAsTextFile()调用出错的解决方法
调用saveAsTextFile函数时，时常会遇到无权写入文本的报错。程序运行完会建立很多子文件夹，但是最后的文本是空的，如图：对此，我的同学的解决方法是：https://www.cnblogs.com/dreamboy/p/11187541.html但是很遗憾，我这样做了之后却不可以。于是再咨询过别的同学后，得到的解决方案是：即只需要添加以下Hadoop环境变量即可。我用这个方法确实解决了问题，在此给将来遇到该问题的小伙伴提供一点经验。备注：其实我...
2020-06-30 23:21:50
2197
原创 Spark工作流程简述
这是参加东软大数据实习的一份平时作业，图片内容来源于课件。Spark工作流程简述用户构建Spark Application的运行环境，启动SparkContext（上下文） 用户编写程序提交到Master上 Master构建一个有向无环图（DAG） 根据DAG生成不同的TaskSet任务集 Master上面的Task Scheduler会把任务集分配给若干个Worker节点 worker节点会启动executor进程，从而执行不同的task worker节点执行完之后，将结果通过集群.
2020-06-29 19:46:39
1132
原创 第六章 鞅
6.1 鞅的定义和基本性质【定义】如果一个随机变量的序列满足：E[ Xi | X1,X2,…,Xi-1 ] = Xi-1则该序列是一个鞅。【辅助定义】条件期望E[Y|X] = Σ y * Pr[Y=y|X]可以理解为：给定一个条件X的取值的情况下，随机变量Y取值的数学期望。【如何理解“鞅”这个数学模型？】鞅是一组随机变量的序列，给定了前0~(i-1)个变量，预测第(i+1)...
2019-04-29 00:49:38
3324
原创 Junit使用方法
【导入junit库文件】选中一个文件夹，右键，导入库文件 【编写test测试文件】新建一个source文件夹（不是普通文件夹），编写对应的测试文件 【利用junit测试】光标停留在@行，shift+alt+x+t，进行测试，会有绿条在左侧显示参考链接：https://www.cnblogs.com/ysocean/p/6889906.html https://jingyan.baidu...
2019-04-07 10:16:33
278
原创 查看jdk版本
cmd命令行直接键入命令：java -version在尝试将多个.class文件合并成一个.jar文件时，需要编写的.MF文件用到了这个信息
2019-03-17 23:24:35
514
转载 弄懂 JRE、JDK、JVM 之间的区别与联系
其实很多 Java 程序员在写了很多代码后，你问他 jre 和 jdk 之间有什么关系，jvm 又是什么东西，很多人不知所云。本篇不会讲述 jvm 底层是如何与不同的系统进行交互的，而主要理清楚三者之间的区别，搞清楚我们写的 xxx.java 文件是被谁编译，又被谁执行，为什么能够跨平台运行。首先，我们分别对这三者进行阐述。JVM：英文名称（Java Virtual Machine），就...
2019-03-17 22:39:38
179
原创 “FIRST集、FOLLOW集、构造LL(1)分析表” 的常用方法
第一部分·如何求FIRST集*FIRST集可以包含空符号εFIRST是针对产生式右部的一个函数，在构造LL（1）分析表的时候十分重要。但实际过程中，还是需要先求产生式头部的FIRST集合，这有利于对右部的求解。终结符的FIRST集合就是它本身 如果求产生式右部字符串的FIRST集合，那就是第一个终结符（此实可能是非终结符的形式，那就产生了递归） 如果求产生式左部的FIRST集合，那就...
2019-03-17 17:36:07
2908
转载 学习opencv时用到的参考文献
第一部分·环境配置《cmd 命令行 无法进入Python编辑器解决方案》https://blog.csdn.net/m0_38015368/article/details/76561297（帮助我解决了windows10下cmd中无法运行python的问题；顺便学会了如何在cmd中设置环境变量） 《Python3.6 numpy库，opencv库下载以及安装》https://blog.csdn...
2019-03-10 22:16:02
4157
原创 eclipse小技巧备忘录
这学期主要使用的编程语言是Java，统一的IDE是eclipse；于是在这里记录一些小技巧。“ ctrl+/ ”或者“ ctrl+shit+c ”是大段注释或删除注释。 “ shift+alt+x ” + “ j ” 运行程序。 // TODO Auto-generated constructor stub 。eclipse自动帮使用者写的，意即这行代码是自动生成的构造函数。...
2019-03-10 09:33:59
276
原创 快捷键笔记本
1.【计算器】win+r，calc2.【重命名】F23.【鼠标右键】shift+F104.【关闭当前窗口】ctrl+w5.【新建当前一样的窗口】Ctrl+N6.【显示桌面】win+M7.【调整窗口成固定格式】win+↑↓←→8.【快速切换桌面】win+d9.【打开任务试图（可以新建桌面的那个）】win+tab10.【锁屏】win+l（我的键盘上有锁屏键，F9）11.【粘贴为纯文...
2019-03-05 21:19:41
401
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人