- 博客(18)
- 收藏
- 关注
RSS订阅原创 Hadoop
hadoop fs -get /a.txt /opt/test.txt 或者 hadoop fs -copyToLocal /a.txt /opt/test.txt| 下载文件 || hadoop fs -appendToFile b.txt /a.txt | 将本地的b.txt的内容追加到HDFS的a.txt中 |1. DataNode是HDFS的从进程，负责存储数据。5. NameNode收到请求之后，会查询元数据，将这个Block的存储位置以及Block的校验信息放入队。
2024-04-29 17:28:45
535
原创 Hadoop
当扫描edits_inprogress文件的时候，发现达到指定大小(可以通过 dfs.namenode.checkpoint.txns 属性来调节，默认值是1000000，即edits_inprogress文件中记录达到1000000条)之后，会自动滚动生成edits文件。8.当达到指定条件之后，edits_inprogress文件就会产生滚动，滚动生成edits文件，同时产生一个新的edits_inprogress文件，新来的写操作记录到新的edits_inprogress文件中。
2024-04-28 17:03:44
461
1
原创 Scala
2. 样例类对应的伴生对象中，会自动覆盖 apply 、 unapply 、 toString 、 equals 和。1. 如果一个类被声明为样例类，那么Scala在编译的时候会自动的给这个样例类生成一个伴生对。3. 也正因为样例类中会自动覆盖apply和unapply函数，所以可以参与模式匹配。2. 样例类的声明和普通类差别不大，区别在于，在 class 之前添加了 case。1. 全函数：对集合中所有的元素进行操作，例如 map ， reduce 等。3. 样例类的普通类的区别。
2024-04-26 17:23:11
697
1
原创 Scala
4.映射中的键值对实际上就是Tuple2，Tuple2又称之为对偶元组。因此，在Scala中，Map实际上就是一个存储了多个Tuple2的数组。1.Scala中字符串同样分为可变字符串和不可变字符串，不可变字符串使用。注意：在Scala中，无论是可变集合还是不可变集合，都是使用。序列分为可变序列和不可变序列。1.键的遍历：遍历所有的键，通过键来获取值。数组、列表、字符串都属于序列的子类。1.可变集合依然使用Set来定义。来定义，可变字符串使用的是。返回就是一个Range对象。来定义，区别是可变集合是。
2024-04-25 16:46:33
215
1
原创 Scala
1. 在Scala中，通过 List 来定义不可变列表，需要注意的是，List本身是一个抽象类，所以并不能直。1. 可变数组，类似于Java中的 ArrayList ，长度可以发生变化，并且可以对数组中的元素来进行增。如果增删元素，那么会产生一个新。1. 所谓的不可变集合，指的是集合被创建好之后，长度不可变，且其中的元素也不能改变。2. 所谓的可变集合，指的是集合创建好之后，依然可以对元素进行增删操作，并且不会产生新。果对不可变集合中的元素进行增删操作，那么不会改变原集合，而是会产生一个新的集合。
2024-04-23 18:58:47
277
原创 Scala
门完全面向对象的语言，认为静态是不合理的，因为静态和对象是无关的，Scala就认为 static。名的object(伴生对象)，定义在伴生对象中的属性和函数，在编译之后会自动变成静态的。1. 自身类型，指的是在另一个类或者特质中指定一个其他类型，那么这个类或者这个特质的子类或者。1. 当一个类中有多个固定个数的实例，并且可以一一列举的时候 ，可以定义为枚举。2. 被修饰的类或者特质参与模式匹配的时候，那么会进行检查，如果没有罗列所有的情况，那。2. Scala中，抽象类中还可以定义抽象属性！
2024-04-23 18:43:21
671
原创 Scala
同样，Scala支持类和类之间的单继承而不是多继承，子类同样可以通过继承来使用父类中的部分方法或者属性。4. Scala中的 protected 比Java中更严格，只能在本类中和子类中使用，同包类和其他类中不能使用。1. 在Scala中，依然是通过 import 来导入包，但是Scala中，导包语句可以书写在任何地方。在同一个包中的所有的类都可以访问同名包对象中的函数和属性。4. 多态：包含了对象的多态(向上造型)和行为的多态(方法的重载和重写)2. 封装：Scala中，提供了对象的封装和函数的封装。
2024-04-21 10:00:00
225
1
原创 Scala
1. 在函数的返回值之前用 lazy 来修饰，这个函数就会被推迟执行，直到结果被使用的时候，函数才会执行，这个过程就称之为懒加载，或者惰性加载。1. 在Scala中，没有构造函数的说法，取而代之的是构造器。Scala中，构造器可以定义多个，分为主构造器和辅构造器。1. 柯里化指的是将多个参数的函数变成接收单一参数的过程。1. 在Scala中，通过 class 来定义类。2. 主构造器的结构。
2024-04-20 10:09:10
166
原创 Scala
1. Scala中，也是通过函数名(参数)的形式来调用函数，但是Scala提供了省略调用和带名调用。1. 闭包，指的是一个函数，如果访问了外部变量的值，那么此时这个函数以及它所处的函数，构成了。1. 当一个函数的参数是另一个函数，或者返回值是另一个函数的时候，这个函数就是高阶函数。2. Scala中，函数可以定义在任何位置，即函数可以定义在类或者函数内。2. 省略调用：如果函数没有参数，那么在调用函数的时候可以省略()不写。1. 所谓可变参数，指的是在调用函数的时候，参数个数可以变化。
2024-04-20 09:56:34
194
原创 Scala基础
1. 在Scala中所有的结构都应该有计算结果，因此循环也必须有计算结果。果类型只能是Unit，而for循环默认的结果类型也是Unit，但是for循环可以通过 yield 关键字将计。2. 对于continue而言，Scala就认为可以通过条件判断来实现相同的效果，因此没有必要添加。2. 当在循环中直接嵌套了一个判断结构的时候，那么此时可以将判断条件紧跟循环来执行，当满足判。1. 类似于循环守卫式和循环嵌套，for循环还支持变量的引入。断条件的时候，才能进入循环执行，构成了循环守卫式。
2024-04-18 18:43:54
255
原创 Scala入门
1. 在Java中，基本类型、static等都不符合面向对象的规则。Scala作为一门完全面向对象的语言，不 支持基本类型、static等2. 在Scala中，提供了公共父类： Any ，即所有的类都是 Any 的子类1. Any下分为了两个大的子类： AnyVal (任意数值)和 AnyRef (任意引用)。无论 AnyVal 还是 AnyRef 都是类2. AnyVal 包含了常用的数据类型。
2024-04-17 19:05:16
361
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人