2020年04月_威尼斯的星期天

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月

原创 scala的默认导入和以及包声明以及导入

前言Scala默认会为每个.scala文件导入以下3个包:java.lang._scala._scala.Predef._ (一般很多的隐式转换都在该包下)包的声明支持和java一样的声明方式(基本这种使用)package com.zhengkw.scala.day04.pack支持多个package语句(很少碰到)package com.zhengkw.scal...

2020-04-27 23:00:03 1356

原创 Scala隐式参数隐式值注意事项

package com.zhengkw.scala.day06Exc/** * @ClassName:ImplicitValue * @author: zhengkw * @description: * 注意 * - 找隐式值的时候, 只看类型, 不看变量的名字 * * - 在作用域内, 只能有一个同类型的隐式值 * * - 一个隐式参数列表内, 如果有多个参数, 则这些...

2020-04-27 22:27:33 161

原创 Scala两种递归方式（尾递归和普通递归）实现 n!

package com.zhengkw.scala.day06Exc/** * @ClassName:Stratum1 * @author: zhengkw * @description: * @date: 20/04/27下午 6:46 * @version:1.0 * @since: jdk 1.8 scala 2.11.8 */object Stratum1 { d...

2020-04-27 19:50:54 541

原创 scala中的内部类初识

object InnerDemo1 { def main(args: Array[String]): Unit = { val outer1 = new Outer val inner1 = new outer1.Inner val outer2 = new Outer val inner2 = new o...

2020-04-27 00:09:16 214

原创 Scala中的类型判断与强转

object Extra1 { def main(args: Array[String]): Unit = { val a:A = new B // java中判断类型: a instanceof B if (a.isInstanceOf[B]) { // 判断a是否为B的对象 val b = a.asInsta...

2020-04-26 23:59:10 814

原创 scala中trait注意事项

前言在scala中的抽象类能有的成员, 那么特质（trait）都可有属性方法抽象属性抽象方法构造器(主/辅)与抽象类的区别抽象类只能单继承，trait可以多混入！class A extends t1 with t2 with t3...叠加冲突由于一个类可以混入（mixin）多个trait，且trait中可以有具体的属性和方法，若混入的特质中具有相同的方法（方法名，参数...

2020-04-26 23:33:23 226

原创 Scala中apply方法的应用

前言scala作为面向对象语言，有很多独特的黑科技，下面介绍一个黑科技用法！将对象当做函数来进行调用！下面通过一些案例来进一步阐述这个用法！codepackage com.zhengkw.single/** * Author zhengkw * Date 2020/4/25 10:37 */object ApplyDemo1 { def main(args: Array[...

2020-04-26 22:05:47 657

原创 Scala中的单例对象、伴生对象和伴生类

单例对象这个是scala提供的！object 对象名{ // 也可以写代码 def main(args: Array[String]){ // 入口 }}继承了Apptraitobject Hello extends App { println("Hello, World!")}伴生类和伴生对象一个scala文件中如果有名字相同的cl...

2020-04-26 20:53:11 512

原创 Scala中类型推断注意事项

前言Scala 编译器通常可以推断出表达式的类型，因此你不必显式地声明它。The Scala compiler can often infer the type of an expression so youdon’t have to declare it explicitly.编译器从不推断方法形式参数的类型。但是，在某些情况下，当函数作为参数传递时，编译器可以推断出匿名函数形式...

2020-04-26 20:26:57 314

原创理解Scala中的值调用和名调用以及惰性求值

package com.zhengkw.scala.day03Exc/** * @ClassName:Call * @author: zhengkw * @description: * @date: 20/04/23下午 10:05 * @version:1.0 * @since: jdk 1.8 scala 2.11.8 */object Call { def main(...

2020-04-24 01:13:06 215

原创 scala中的递归与尾递归随笔code

package com.zhengkw.scala.day03/** * @ClassName:CalledName * @author: zhengkw * @description: 匿名函数 * @date: 20/04/22下午 3:41 * @version:1.0 * @since: jdk 1.8 scala 2.11.8 */object CalledName ...

2020-04-24 01:08:37 180

原创理解Scala闭包和柯里化

前言方法可以定义多个参数列表，当使用较少的参数列表调用多参数列表的方法时，会产生一个新的函数，该函数接收剩余的参数列表作为其参数。这被称为柯里化。一个匿名函数和这个匿名函数所处的环境就叫闭包!!! //柯里化 def add(a: Int)(b: Int) = a + b //等价于 def add(a:Int,b:Int)= a + b package com.zhe...

2020-04-24 01:07:26 253

原创理解高阶函数的定义并且给高阶函数传递匿名函数

前言Higher order functions take other functions as parameters or return afunction as a result.高阶函数是指使用其他函数作为参数、或者返回一个函数作为结果的函数。类比数学中若f(x)为一元一次函数，那么 f(f(x))则为一元二次函数！每嵌套一层则提升一个阶层！codepackage com.z...

2020-04-24 00:48:12 245

原创理解Scala中的抽象控制

前言在《快学Scala》一书中，控制抽象被描述为是一系列语句的聚集，是一种特殊的函数，因为它是本质上只是对一系列语句的封装，所以它理应：没有参数输入；没有值返回。package com.zhengkw.scala.day03Exc/** * @ClassName:ControlAbs * @author: zhengkw * @description: * @d...

2020-04-24 00:41:12 309 1

原创 Scala函数注意事项

函数如果没有return, 则自动把最后一行的值返回如果函数实现只有一行代码, 则 { }可以省略如果内部没有时候用return, 则返回值的类型也可以省略,scala编译器会根据最后一行得到值的类型进行自动推导如果在调用函数的时候, 如果没有参数则愿括号可以省略关于返回值:5. 如果没有return, 则自动把最后一行的值返回6. 如果有return, 则代码执行到re...

2020-04-21 22:06:19 196

原创 Scala基础二插值

代码package com.zhengkw.scala/** * @ClassName:PrintTest * @author: zhengkw * @description: 输出 * @date: 20/04/20下午 2:38 * @version:1.0 * @since: jdk 1.8 scala 2.11.8 */object PrintTest { de...

2020-04-20 21:52:04 243

原创 Scala基础一变量声明

变量声明package com.zhengkw.scala/** * @ClassName:DecVal * @author: zhengkw * @description: * @date: 20/04/20下午 9:06 * @version:1.0 * @since: jdk 1.8 scala 2.11.8 */object DeclaraVal { /* j...

2020-04-20 21:38:26 279

原创 idea不使用maven原型创建一个scalamaven工程

准备windows环境安装好idea，解压scala的压缩包到指定位置，进行配置到path变量中。能在cmd中运行scala命令即可！这步的前提是JAVA_HOME的正确配置！创建一个maven不选择原型创建完成以后，添加框架依赖给新创建的module。鼠标移动到新的module上右键点击new下面的add framework support 选择里面的scala！如果没有请先将ide...

2020-04-20 19:50:14 376

原创 not instantiate implementation: com.thinkaurelius.titan.diskstorage.hbase.HBaseStoreManager

前言在hadoop-ha中集成atlas管理元数据报错处理报错Factory method ‘get’ threw exception; nested exception isjava.lang.IllegalArgumentException: Could not instantiateimplementation:com.thinkaurelius.titan.diskstora...

2020-04-19 22:20:22 521

原创搭建高可用Hbase集群关键配置记录

hbase-site.xml因为配置了PATH里有HADOOP_HOME所以能够找到core-site能读到笔者配置的高可用！<configuration>  <property> <name>hbase.rootdir</name&...

2020-04-15 19:50:10 164 1

原创 azkaban中遇到Could not initialize class org.apache.derby.jdbc.AutoloadedDriver40

前言以前自己搭过一个azkaban的环境，但是过了很久后再重头搭建时发现了写不可思议的坑。下面记录下！报错信息Exception in thread “main” java.lang.NoClassDefFoundError: Could notinitialize class org.apache.derby.jdbc.AutoloadedDriver40 atjava.lang....

2020-04-14 22:38:21 2704

原创 tez在join操作中遇到数据丢失问题（牵涉hive优化）

前言相信很多人遇到过，将tez集成到hive中时，进行表join操作，比如3张表进行join，发现最后结果和预期比较，少了一些。然后对每个子查询进行分析，发现往往每个子查询又没有任何数据丢失！而是到了join阶段，数据才出现部分丢失。下面我们对此进行展开叙述。问题排查首先，为了排查到底是哪里的情况。我们知道，tez对DAG运算做了很多优化，和传统MR运行有区别。那么到底如何查呢。首先为...

2020-04-12 14:34:42 5234 17

原创手写MR之自定义输出

前言为了实现控制最终文件的输出路径和输出格式，可以通过自定义outputFormat来进行实现。但是由于MR机制问题，驱动类里必须声明一个输出目录，而且必须是不存在的！否则在校验阶段无法提交job！需求读取一个txt文件，将每行包含zhengkw的合并到一个文件中，剩下的行合并到另一个文件中！Mapperpackage com.zhengkw.outputformat;impo...

2020-04-09 15:33:05 246

原创手写MR之自定义输入解决小文件问题（sequenceFile）

前言无论HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。可以自定义InputFormat实现小文件的合并。需求将多个小文件合并成一个SequenceFile文件（SequenceFile文件是Hadoop用来存储二进制形式的key-value对的文件格式），SequenceFile里面存储着多个文件，存储的形式为文件路...

2020-04-09 15:11:15 362

原创高版本hive中集成Tez以及配置代理和允许通过web端口访问hdfs

前言hive经常用于数仓，但是由于他的计算引擎（默认是MR）不支持DAG(Directed Acyclic Graph)DAG解释，所以导致效率低下，所以一般生产中用集成Tez详细配置解析，笔者就在这里简单的记录下配置。解压安装将apache-tez-0.9.1-bin.tar.gz上传到HDFS的/tez目录下。这一步是因为tez是在yarn上运行Tezjob，但是如果只装在一台机器上...

2020-04-07 21:39:46 627

原创 Hive中自定义UDF打包后上传到HDFS上的自定义函数库目录

前言之前写了一个指定UDF的案例，其中分享了2个比较常见的导入jar的方法！但是实际开发中，还可以放到HDFS上来进行管理，下面就此展开！自定义UDF方法上传jar在HDFS上创建一个目录/user/hive/jars[zhengkw@hadoop102 module]$ hadoop fs -mkdir -p /user/hive/jars上传[zhengkw@hadoop10...

2020-04-05 23:55:53 1288

原创 Failure to find org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde in http://maven.aliyun.com

问题编写Hive自定义UDF以及UDTF函数时，测试都通过了，但是在附带依赖打包的时候发现了一个错误！错误代码：Failure to findorg.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde inhttp://maven.aliyun.com/nexus/content/repositories/central/ wa...

2020-04-02 15:00:58 7080 7