陈思宇陈思宇-CSDN博客

原创 hdfs Trash回收站配置 java操作trash不生效解决

Trashtrash位于org.apache.hadoop.fs包中，通过传入fs和conf创建public Trash(FileSystem fs, Configuration conf) throws IOException { super(conf); this.trashPolicy = TrashPolicy.getInstance(conf, fs, fs.getHomeDirectory());}trash是hdfs中的回收站功能，可以将误删和需要找回

2020-07-14 23:47:06 761 1

原创使用dnf命令移除linux的内核版本

使用dnf命令移除linux的内核版本在安装其他内核时出现错误，导致出现开机时，启动项自动选择其他内核卡死现象，所以将安装错误的内核移除。使用uname -r命令可以查看当前内核版本需要使用dnf命令删除1.安装dnf需要先安装并启用 epel-release 依赖yum install epel-release -y2.使用yum安装dnf包yum install dnf使用...

2020-03-20 12:09:08 1158

原创 scala学习笔记12-Actor 线程通信

ActorActor类似于java中的多线程编程，用于线程通信，scala中提供的模型与多线程不同，scala中Actor尽可能避免锁和共享状态，从而避免多线程并发时出现资料争用的情况，进而提升多线程编程的性能。些外Scala Actor的这种模型还可以避免死锁等一系列传统多线程的问题Spark中使用的分布式多线程框架，是Akka。Akka也实现了类似于Actor的模型。收发case cl...

2020-02-06 21:48:57 198

原创 scala学习笔记11-正则表达式

正则表达式：Scala继承了Java，这反过来又继承了大部分的Perl的功能，它的正则表达式语法。所有的正则表达式元字符的语法可用在Java中。每个字符使用了两个反斜线。这是因为在 Java 和 Scala 中字符串中的反斜线是转义字符。所以如果你要输出 ..，你需要在字符串中写成 .\. 来获取一个反斜线。使用正则表达式一般有三种情况1:验证格式是否符合要求2:找出符合要求的值...

2020-02-06 21:41:35 143

原创 scala学习笔记10-隐式类

隐式类在scala2.10之后开始提供了隐式类，可以使用implicit声明类，可以扩展类的功能 def main(args: Array[String]): Unit = { //使用implicit定义隐式类，并关联bird类 implicit class imBird(val b:bird) { def eat(): Unit = {println("隐式吃了")}...

2020-02-06 21:33:52 259

原创 scala学习笔记09-样例类

样例类样例类使用了case关键字的类定义就是就是样例类(case classes)，样例类是种特殊的类，经过优化以用于模式匹配。scala中一种特殊的类：样例类1.没有类体，不能在该类中写属性和方法2.必须要有主构造器，不然无法使用3.采用case来修饰的类4.配合match使用,match可以匹配样例类 object Case_Class01 { /** * scal...

2020-02-06 21:25:19 159

原创 scala学习笔记08-模式匹配：match

模式匹配：matchScala 中的模式匹配类似于Java 中的switch 语法，但是更加强大scala中有match类似于java中的switch语句，模式匹配包含了一系列备选项，每个都开始于关键字 case ；每个备选项都包含了一个模式及一到多个表达式；箭头符号 => 隔开了模式和表达式。match 表达式通过以代码编写的先后次序尝试每个模式来完成计算，只要发现有一个匹配的ca...

2020-02-06 21:20:36 312

原创 scala学习笔记07-异常处理

异常处理Scala提供了try…catch来处理异常，try块用于包含可疑代码。catch块用于处理try块中发生的异常。"_"一定要放在最后一个case，不然下划线后面的的case将无法执行finally块用于在异常时释放资源。资源可能是文件，网络连接，数据库连接等，finally块执行代码运行保证。 //异常的处理 def main(args: Array[String]): U...

2020-02-06 21:07:26 139

原创 scala学习笔记06-递归的使用(斐波那契、猴子吃桃子、计算1-50的和、翻转字符串、求阶乘)、Any中的方法、split()、io操作、项目及文件命名方式、

递归：一个函数在函数体内又调用的了本身1.程序执行一个函数时，就创建一个新的受保护的独立空间2.函数的局部变量是独立的，不会受影响的3.递归必须向退出递归的条件逼近，否则将会无限循环4.当一个函数执行完毕时，或者遇到return，就会返回，遵守谁调用，就将结果返回给谁注意：当重复计算时，需要考虑优化 -> 迭代 println("-----------斐波那契----------...

2020-02-06 21:01:28 662

原创 scala学习笔记05-高阶函数:高阶函数语法、匿名函数、函数柯里化、偏函数和常用的高阶函数(mapy映射函数、flatmap 映射扁平化映射、filter、result 、sortWith )

高阶函数1.将变量作为函数 //在方法名后加" _" var a: String => Unit = method01 _ //为一个函数变量 //mym的类型为() => Unit //当我们在函数当中加了一个参数的时候，变量的类型就会变成(String) => Unit //当我们在函数当中加上返回值类型的时候，变量的类型就会变成(String) =&g...

2020-02-06 20:28:59 283

原创 scala学习笔记04-语法杂记：构造器、class文件、伴生对象、apply方法、继承、抽象类、Trait特征、"_" 的使用

scala中的class文件：在class文件中创建的main方法是一个普通的方法需要在object创建main方法才能run使用val定义变量和不能用_赋值private 修饰的参数在编译后自动生成private的 get和set方法public 修饰的属性编译后自动生成public的 get和set方法val修饰的属性只会生成get方法使用private[this]修饰的属性，在...

2020-02-03 22:16:01 177

原创 scala学习笔记03-JAVA集合与SCALA 集合互操作

JAVA集合与SCALA 集合互操作：scala.collection.JavaConversions propertiesAsScalaMap ------可以将java中的properties类型转换为scala中的map类型 //propertiesAsScalaMap ------可以将java中的properties类型转换为scala中的map类型 var prop:P...

2020-02-03 21:51:36 351

原创 scala学习笔记02-scala中的集合类型:Array、List、Map、tuple、Option

scala中Array:Scala提供了一种数据结构叫作数组，数组是一种存储了相同类型元素的固定大小顺序集合。数组用于存储数据集合，但将数组视为相同类型变量的集合通常更为有用。 //数组的声明 var arr01:Array[Int] = new Array[Int](10); var arr02 = new Array[String](10) //遍历 for (x <-...

2020-02-03 21:49:29 348

原创 scala学习笔记01 -基本语法杂记

java和scala在语法上的区别“Hello World”(6)，因为在StringOps类中有def apply(n: Int): Char的函数定义，所以"Hello World"(6)，实际上是"Hello World".apply(6)的缩写。scala区分大小写scala对于类名第一个字母要大写scala中方法名第一个字母要小写java中main函数：pu...

2020-02-03 21:21:59 131

cfjs790118的博客