- 博客(9)
- 资源 (1)
- 收藏
- 关注
原创 Spark常见调优方式
Spark调优资源调优合理设置Driver和Executor的个数以及他们的核数和内存大小RDD优化RDD复用,对RDD进行算子时,要避免相同的算子和计算逻辑下对RDD进行重复计算RDD持久化,当多次对同一个RDD执行算子操作时,每一次都会对这个RDD以之前的夫RDD重新计算,要避免这种情况,要对多次使用的RDD进行持久化并行度调节理想的并行度设置,是让并行度和资源相匹配,就是在资源允许的前提下,并行度要设置的尽可能大,达到可以充分利用集群资源。合理的设置并行度,可
2021-05-19 10:24:40
655
原创 Linux中安装SBT
1. 在官网上下载.tgz安装包https://www.scala-sbt.org/download.html2. 使用tar -zxvf 对安装包进行解压tar -zxvf sbt-1.3.2.tgz 3. 配置环境变量vim /etc/profileexport SBT_HOME=/usr/soft/sbtPATH=$PATH:$SBT_HOME刷新环境变量source /etc/profile4.简单测试4.1 随便在磁盘的某个位置建立一个文件夹如下图所示4.2 创
2021-04-30 11:20:25
910
原创 Cenos6.5不能使用问题
解决Centos6.5的yum 源问题‘Loading mirror speeds from cached hostfilehttp://mirrors.aliyun.com/centos-vault/6.10/os/x86_64/repodata/repomd.xml: [Errno 14] PYCURL ERROR 6 - “Couldn’t resolve host ‘mirrors.aliyun.com’”Trying other mirror.’1.在/etc/yum.repos.d 下替
2021-03-28 10:41:30
351
1
原创 Java代码实现简单单词统计
加粗样式Java代码统计一个文件中单词出现的次数,并将统计后的结果写入到另一个文件中在这里插入代码片package day15_IO.Demo002;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.FileReader;import java.io.FileWriter;import java.util.HashMap;import java.util.Map;import java.u
2020-12-02 09:29:21
1479
原创 Java语言实现二分查找
package Day04;import java.util.Scanner;public class Demo06_Binary_Ordering { public static void main(String[] args) { int[] arr = new int[]{1, 2, 3, 4, 5, 6, 7, 8, 9, 10};//使用二分查找时,数组中的数据要有序; Scanner scanner = new Scanner(System.in)
2020-11-15 00:02:06
161
原创 用Java实现随机生成100个随机数并放在数组里,排序并输出
在这里插入代码片package Day04.Day04_Practice;import java.util.Random;/*生成一百个随机数,放入数组,然后排序输出。 */public class Practice08 { public static void main(String[] args) { Random random = new Random(); int [] arr = new int[100];//动态初始化一个长度为100的数组
2020-11-14 23:52:02
16994
原创 Java实现猜数字小游戏
*Java实现猜数字小游戏在这里插入代码片package com.demo;import java.util.Random;import java.util.Scanner;// 1.猜数字游戏// 整体代码思路如下/* 随机生成0——100之间的数字,供玩家猜测,玩家需要猜测10个数字,每猜一个数字有3次猜测机会,若猜对了这个随机生成的数字会加10分且会进行下一个数字的猜测,若三次机会用完了,则会进行下一个数字的猜测。10个数字猜完之后,会输出这个玩家,猜对的次数和最终的成绩。...
2020-11-11 22:47:16
1036
原创 Java代码求水仙花数
这里写自定义目录标题Java代码求水仙花数Java代码求水仙花数// 求水仙花数.// 1.什么是水仙花数// 2.水仙花数是一个三位数,且水仙花的个位,十位,百位的数字立法和等于原数。public class demo_18 {public static void main(String[] args) { int number = 0, x = 0, y = 0, z = 0;//x表示3位数的百位上的数字,y表示三位百位上的数字,z表示三位数上个位的数字 int count
2020-11-11 19:45:29
743
原创 用Java实现判断2个数组是否相同
用Java实现判断2个数组是否相同// 1.首先定义一个Compare()方法 2个参数类型分别是int类型的数组。// 2.定义一个boolean类型的变量初始赋值为false。// 3.然后将2个数组进行比较,先比较2个数组的长度,若2个数组的长度不同则将decide的值修改为false// 4.之后对每个数组进行遍历,比较每个数组元素是否相等//public static boolean Compare (int [] arr,int [] arr2){boole
2020-11-10 22:00:53
4559
6
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人