天無-CSDN博客

原创 Spark常见调优方式

Spark调优资源调优合理设置Driver和Executor的个数以及他们的核数和内存大小RDD优化RDD复用，对RDD进行算子时，要避免相同的算子和计算逻辑下对RDD进行重复计算RDD持久化，当多次对同一个RDD执行算子操作时，每一次都会对这个RDD以之前的夫RDD重新计算，要避免这种情况，要对多次使用的RDD进行持久化并行度调节理想的并行度设置，是让并行度和资源相匹配，就是在资源允许的前提下，并行度要设置的尽可能大，达到可以充分利用集群资源。合理的设置并行度，可

2021-05-19 10:24:40 655

原创 Linux中安装SBT

1. 在官网上下载.tgz安装包https://www.scala-sbt.org/download.html2. 使用tar -zxvf 对安装包进行解压tar -zxvf sbt-1.3.2.tgz 3. 配置环境变量vim /etc/profileexport SBT_HOME=/usr/soft/sbtPATH=$PATH:$SBT_HOME刷新环境变量source /etc/profile4.简单测试4.1 随便在磁盘的某个位置建立一个文件夹如下图所示4.2 创

2021-04-30 11:20:25 910

原创 Cenos6.5不能使用问题

解决Centos6.5的yum 源问题‘Loading mirror speeds from cached hostfilehttp://mirrors.aliyun.com/centos-vault/6.10/os/x86_64/repodata/repomd.xml: [Errno 14] PYCURL ERROR 6 - “Couldn’t resolve host ‘mirrors.aliyun.com’”Trying other mirror.’1.在/etc/yum.repos.d 下替

2021-03-28 10:41:30 351 1

原创 Java代码实现简单单词统计

加粗样式Java代码统计一个文件中单词出现的次数，并将统计后的结果写入到另一个文件中在这里插入代码片package day15_IO.Demo002;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.FileReader;import java.io.FileWriter;import java.util.HashMap;import java.util.Map;import java.u

2020-12-02 09:29:21 1479

原创 Java语言实现二分查找

package Day04;import java.util.Scanner;public class Demo06_Binary_Ordering { public static void main(String[] args) { int[] arr = new int[]{1, 2, 3, 4, 5, 6, 7, 8, 9, 10};//使用二分查找时，数组中的数据要有序； Scanner scanner = new Scanner(System.in)

2020-11-15 00:02:06 161

原创用Java实现随机生成100个随机数并放在数组里，排序并输出

在这里插入代码片package Day04.Day04_Practice;import java.util.Random;/*生成一百个随机数，放入数组，然后排序输出。 */public class Practice08 { public static void main(String[] args) { Random random = new Random(); int [] arr = new int[100];//动态初始化一个长度为100的数组

2020-11-14 23:52:02 16994

原创 Java实现猜数字小游戏

*Java实现猜数字小游戏在这里插入代码片package com.demo;import java.util.Random;import java.util.Scanner;// 1.猜数字游戏// 整体代码思路如下/* 随机生成0——100之间的数字,供玩家猜测,玩家需要猜测10个数字,每猜一个数字有3次猜测机会,若猜对了这个随机生成的数字会加10分且会进行下一个数字的猜测,若三次机会用完了，则会进行下一个数字的猜测。10个数字猜完之后，会输出这个玩家，猜对的次数和最终的成绩。...

2020-11-11 22:47:16 1036

原创 Java代码求水仙花数

这里写自定义目录标题Java代码求水仙花数Java代码求水仙花数// 求水仙花数.// 1.什么是水仙花数// 2.水仙花数是一个三位数，且水仙花的个位,十位,百位的数字立法和等于原数。public class demo_18 {public static void main(String[] args) { int number = 0, x = 0, y = 0, z = 0;//x表示3位数的百位上的数字,y表示三位百位上的数字,z表示三位数上个位的数字 int count

2020-11-11 19:45:29 743

原创用Java实现判断2个数组是否相同

用Java实现判断2个数组是否相同// 1.首先定义一个Compare()方法 2个参数类型分别是int类型的数组。// 2.定义一个boolean类型的变量初始赋值为false。// 3.然后将2个数组进行比较,先比较2个数组的长度，若2个数组的长度不同则将decide的值修改为false// 4.之后对每个数组进行遍历，比较每个数组元素是否相等//public static boolean Compare (int [] arr,int [] arr2){boole

2020-11-10 22:00:53 4559 6

weixin_45139543的博客