李昊轩的博客

原创 Scala 之 Map 操作大全

Scala的Map简介1) Scala 中的 Map 和 Java 类似，也是一个散列表，它存储的内容也是键值对(key-value)映射，Scala 中不可变的 Map 是有序的，可变的 Map 是无序的。2) Scala 中，有可变Map(scala.collection.mutable.Map)和不可变Map(scala.collection.immutable.Map)不可变...

原创 Scala 之 队列(Queue) 入门

Scala的队列:队列是一个有序列表，在底层可以用数组或是链表来实现。其输入和输出要遵循先入先出的原则。即:先存入队列的数据，要先取出。后存入的要后取在 Scala 中，由设计者直接给我们提供队列类型 Queue 使用。在 scala 中, 有 scala.collection.mutable.Queue 和 scala.collection.immutable.Queue , 一般来说...

原创 Scala 之 List 与 ListBuffer 入门

Scala的ListScala 中的 List 和 Java List 不一样，在 Java 中 List 是一个接口，真正存放数据是 ArrayList，而 Scala 的 List 可以直接存放数据，就是一个object，默认情况下 Scala 的 List 是不可变的，List 属于序列 Seq.val List = scala.collection.immutable.Listobj...

原创 Scala 之 元组(Tuple)入门

元组元组Tuple的操作说明 tuple1 就是一个 Tuple 类型是 Tuple5为了高效的操作元组，编译器根据元素的个数不同，对应不同的元组类型, 总共22种, 所以长度最多为22// 分别 Tuple1----Tuple22 val tuple1 = (1, 2, 3, "hello", 4) println(tuple1) //访问元组 val t1 = ...

原创 Scala 之 Scala容器与Java容器转换(最新版API)

Scala 之 Scala容器与Java容器转换import scala.collection.mutableimport scala.collection.mutable.ArrayBufferobject ArrayBuffer2JavaList { def main(args: Array[String]): Unit = { // Scala 集合和 Java 集合互相...

原创 Scala 之 Array, ArrayBuffer 详解

第一种方法定义数组这里的数组等同于 Java 中的数组,中括号的类型就是数组的类型val arr1 = new Array[Int](10), 集合元素采用小括号访问arr1(1) = 7object ArrayDemo01 { def main(args: Array[String]): Unit = { //说明 //1. 创建了一个 Array 对象, ...

原创 Scala 之 隐式值, 隐式函数和隐式类

先看一段代码，引出实际需求 => 指定某些数据类型的相互隐式转化object Scala01 { def main(args: Array[String]): Unit = { val num: Int = 3.5 //?错 高精度->低精度 println(num) }}隐式函数基本介绍:隐式转换函数是以 implicit 关键字声明的带有单...

原创 Scala 之 Trait(特质)高级特性----动态混入、 静态混入

首先, Trait动态混入是什么?Trait除了可以在类声明时继承特质以外，还可以在构建对象时混入特质，扩展目标类的功能此种方式也可以应用于对抽象类功能进行扩展动态混入是 Scala 特有的方式 (java 没有动态混入)，可在不修改类声明/定义的情况下，扩展类的功能，非常的灵活，耦合性低 。动态混入可以在不影响原有的继承关系的基础上，给指定的类扩展功能。同时要注意动态混入时，如果抽...

原创 Scala 之特质(Trait)简介

长话短说:Trait 在 Scala 中相当于 Java 中 Interface 和 Abstract Class 的结合体, Scala 引入Trait 特征机制, 首先可以替代和兼容Java 接口和抽象类, 其次也是对单继承机制的一种弥补.Trait快速入门示例一 静态声明Trait:object TraitDemo02 { def main(args: Array[String...

原创 Scala 之伴生对象总结

Scala 中伴生对象采用 object 关键字声明，伴生对象中声明的全是 "静态"内容，可以通过伴生 对象名称直接调用。伴生对象对应的类称之为伴生类，伴生对象的名称应该和伴生类名一致。伴生对象中的属性和方法都可以通过伴生对象名(类名)直接调用访问从语法角度来讲，所谓的伴生对象其实就是类的静态方法和成员的集合从技术角度来讲，scala 还是没有生成静态的内容，只不过是将伴生对象生成了一个...

原创 从 jvm 动态绑定的机制来看 Scala 覆写方法和属性

基本介绍在 Scala 中，子类改写父类的字段，我们称为覆写/重写字段。覆写字段需使用 override 修饰。回顾:在 Java 中只有方法的重写，没有属性/字段的重写，准确的讲，是隐藏字段代替了重写回顾-Java 另一重要特性: 动态绑定机制动态绑定的机制:public class JavaDaynamicBind { public static void main(Str...

原创 Scala 对包使用别名

将 Java HashMap 所有元素导入到Scala HashMappackage scalaimport scala.language.postfixOpsimport java.util.{HashMap => JavaHashMap}import collection.mutable.{HashMap => ScalaHashMap}object ImportD...

原创 浅谈Scala 2.8的包对象（package object)

Scala 2.8提供包对象（package object）的新特性。什么是包对象呢？按我的理解，根据Scala“一切皆对象”设计哲学，包(package)也是一种对象。既然是对象，那么就应该有属性和方法，也可以在包对象内声明某个类型的别名。举个例package com{ package object ggd543{ type HashMap[A,B] = scala.colle...

原创 JFileChooser Java提供的文件选择框(Swing)

package HaoxuanLi_Homework5;import java.awt.event.ActionEvent;import java.awt.event.ActionListener;import java.io.File;import javax.swing.JButton;import javax.swing.JFileChooser;import javax.sw...

原创 Scala 构造器高级特性详解

java构造器回顾首先回顾一下Java 构造器基本语法[修饰符] 方法名(参数列表){ 构造方法体}如果程序员没有定义构造方法，系统会自动给类生成一个默认无参构造方法(也叫默认构造器)， 比如 Person (){}一旦定义了自己的构造方法(构造器), 默认的构造方法就覆盖了，就不能再使用默认的无参构造方法，除非显示的定义一下,即: Person(){};Person ...

原创 Scala面向对象的底层实现详解以及与java的区别(一)

Scala 是100%面向对象, java是95%面向对象Java是面向对象的编程语言，由于历史原因，Java中还存在着非面向对象的内容:基本类型， null，静态方法等。Scala语言来自于Java，所以天生就是面向对象的语言，而且Scala是纯粹的面向对象的语言， 即在 Scala 中，一切皆为对象。在面向对象的学习过程中可以对比着 Java 面向对象的方式解决养猫问题mia...

原创 Scala 之异常处理

Scala 异常简介:Scala提供try和catch块来处理异常。try块用于包含可能出错的代码。catch块用于处理try块中发生的异常。可以根据需要在程序中有任意数量的 try…catch 块。语法处理上和 Java 类似，但是又不完全相同Java 异常处理回顾java语言按照try—catch-catch…—finally的方式来处理异常不管有没有异常捕获，都会执...

原创 Scala 之惰性函数

为什么需要惰性函数惰性计算(尽可能延迟表达式求值)是许多函数式编程语言的特性。惰性集合在需要时提供其元素,无需预先计算它们,这带来了一些好处。首先,您可以将耗时的计算推迟到绝对需要的时候。其次,您可以创造无限个集合,只要它们继续收到请求,就会继续提供元素。函数的惰性使用让您能够得到更高效的代码。Java并没有为惰性提供原生支持, Scala提供了,使用很方便。java实现懒加载懒汉...

原创 Scala函数12点注意事项以及细节

Scala函数注意事项12点函数的形参列表可以是多个, 如果函数没有形参，调用时 可以不带()形参列表和返回值列表的数据类型可以是值类型和引用类型package com.haoxuanli.csdnobject Details01{ def main(args:Array[String]):Unit={//形参列表和返回值列表的数据类型可以是值类型和引用类型 val ...

原创 函数递归需要遵循的4点重要原则

程序执行一个函数时, 就创建一个新的受保护的独立空间(新函数栈)函数的局部变量是独立的, 不会相互影响(也是因为在栈里, 而不是堆里)递归必须向推出的条件逼近, 否则会造成栈满溢出, 给计算机归傻了.当其中任何函数执行完毕, 遇到return, 就会返回, 遵守谁调用, 就将结果返回给谁....

原创 Scala 定义方法的几种方式

scala中定义函数的几种方式如下:1.规范化写法, scala 函数的返回值是最后一行代码;def addInt(a: Int, b: Int): Int = { var total: Int = a + b return total}Unit, 是Scala语言中数据类型的一种, 表示无值,用作不返回任何结果的方法;def returnUnit(): Unit = {pr...

原创 Scala 数值转换知识点

原创 Scala 知识点小测验(附答案) 01

在 Scala REPL 中键入3，然后按TAB键。有那些方法可以被应用？scala> 3.!= ## % & * + - / < &lt...

原创 Scala 数据类型详解

直接上图 在 scala 中有一个根类型 Any ,他是所有类的父类.scala中一切皆为对象，分为两大类AnyVal(值类型)，AnyRef(引用类型)，他们都是Any子类.Null 类型是 scala 的特别类型，它只有一个值 null, 他是 bottom calss ,是 所有 AnyRef 类型的子类.Nothing类型也是bottomclass,他是所有类的子类，在开发中...

原创 反编译观察 Scala val 和 var 区别

package com.atguigu.chapter01.varsobject VarDemo03 { var name = "hello" val age = 100 def main(args: Array[String]): Unit = { println("ok") }}对应的底层的反编译的代码publicfinal class VarDemo...

原创 Scala 运行机制反编译模拟实现

每一个scala object 相当于 java代码中的 同名静态类$下的一个静态对象例如下面的TestScala objectpackage com.atguigu.chapter01//只要以后看到有 object TestScala ，你应该有这样一个认识//1. object TestScala 对应的是一个 TestScala$的一个静态对象 MODULE$//2. 在我们...

原创 scala, java 与 JVM 的关系图

原创 韩顺平Scala精讲 最强Scala 教学视频!

链接：https://pan.baidu.com/s/1STQUcddAc57bsZsKsXI3aA提取码：wh3z最新尚硅谷韩顺平Scala全套教程

原创 mysql 编码问题解决方案

一、mysql中的编码mysql> show variables like ‘collation_%’;mysql> show variables like ‘character_set_%’;缺省是latin1编码，会导致中文乱码。修改库的编码：mysql> alter database db_name character set utf8;修改表的编码：mysq...

原创 Sqoop各类命令示范

/** 将mysql的表导入 hdfs **/bin/sqoop import –connect jdbc:mysql://hdp-04:3306/userdb –username root –password root –target-dir /sqooptest –fields-terminated-by ‘,’ –table emp –split-by id –m 2...

原创 Sqoop 常用命令大全

测试数据库连接bin/sqoop list-databases --connect jdbc:mysql://hadoop-04:3306/userdb --username root --password 123456sqoop create-hive-table --connect jdbc:mysql://hadoop-04:3306/userdb --table uv_in...

原创 Sqoop架构以及应用介绍

如上图所示：在实际的业务当中，我们首先对原始数据集通过MapReduce进行数据清洗，然后将清洗后的数据存入到Hbase数据库中，而后通过数据仓库Hive对Hbase中的数据进行统计与分析，分析之后将分析结果存入到Hive表中，然后通过Sqoop这个工具将我们的数据挖掘结果导入到MySql数据库中，最后通过Web将结果展示给客户。向大家展示完Hadoop业务开发流程之后，将进入到本篇...

原创 Hive 4种 排序窗口函数 区别

rownumber() 正常顺序排序rankover() 正常顺序排序, 并列多出的算个数dense_rank() 正常顺序排序, 并列多出的不算个数ntile() 大概均分为几份, 并不保证完全绝对均分效果如图:...

原创 典型ETL hive sql 事例

## 开天辟地 外部表create external table ods_app_log( sdk_ver string, time_zone string, commit_id string, commit_time string, ...

原创 Flume 的 sink-batchsize 和 channel 的 transaction-capacity 的大小关系 bug 解决

sink-batchsize 代表了每次sink处理数据的量transaction-capacity 代表了channel中的每个transaction的size如果sink-batchsize 大于 channel的 transaction-capacity由于内部机制, 会造成阻塞 所以会导致channel报错已满解决方案transaction-capacity >= si...

原创 从 Windows 过度到 Mac 必备快捷键对照表（IntelliJ IDEA）

Mac 键盘符号说明⌘==Command ⇧==Shift ⇪==Caps Lock ⌥==Option ⌃==Control ↩==Return/Enter ⌫==Delete ⌦==向前删除键（Fn+Delete） ↑==上箭头 ↓==下箭头 ←==左箭头 →==右箭头 ⇞==Page Up（Fn+↑） ⇟==...

原创 一行搞定 vim 乱码

vi ~/.vimrc添加set enc=utf8一般来说就够了（只针对vim乱码的情况，操作系统乱码另说）如果还不行，可以再添加set fencs=utf-8,gb2312,gb18030,gbk,ucs-bom,cp936,latin1还不行就把第一行的utf8换成gbk，第二行的gbk挪到最前...

转载 秒级处理海量数据，浙江移动大数据平台是怎么做到的?

近年来，随着云计算、移动互联网、物联网等技术的发展，以及智能手机、平板电脑等终端设备的不断涌现，各种类型的电商、社交媒体等应用快速发展，产生了海量的数据，并且数据量增长的速度越来越快，庞大的数据资源引起了各个行业越来越多的关注，并促进了相关技术的发展与创新，产生越来越重要的价值，“大数据时代”已经悄然降临。对于电信运营商来说，目前正处在一个转型的关键时期，从以语音、短信通信为核心业务的传...