jin6872115的博客

实验多次，选择了可运行的程序方法。应用场景，50张维表数据需要更新到hbase，数据来源mysql，更新频率，无限循环。初识应用串行方式，执行一轮时间大约30分钟，完全不满足需求。需要实现50个程序段并行执行。为什么要把mysql数据写入hbase使用，别问。问了就是需求规定。使用的scala.actors.Actor，maven依赖如下：<!--<dependency>--> <!--<groupId>org.scala-lang&l

1、Scala的特点及下载安装Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。优雅：这是框架设计师第一个要考虑的问题，框架的用户是应用开发程序员，API是否优雅直接影响用户体验。速度快：Scala语言表达能力强，一行代码抵得上Java多行，开发速度快；Scala是静态编译的，所以和J...

lazy特性，变量如果将一个变量设置为lazy，这个变量只有在第一次使用的时候才会发生计算&lt;类&gt;//在Scala中，类并不用声明为public。//Scala源文件中可以包含多个类，所有这些类都具有公有可见性。class Student { //用val修饰的变量是只读属性，有getter但没有setter //（相当与Java中用final修饰的变量） val id ...

Scala有一个十分强大的模式匹配机制，可以应用到很多场合：如switch语句、类型检查等。类似于Java的switch语句，但更加强大语法  val  a mathc{case xxxx = &gt; xxxcase xxxx=&gt; xxx}并且Scala还提供了样例类，对模式匹配进行了优化，可以快速进行匹配1、匹配字符串import scala.util.Randomobject Ca...

隐式参数：1：关键字 implicit2：作用域：先去找全局的，再找局部的3：要找唯一能匹配上的，如果有多个条件都满足，就报错。4：implicit 都需要在object里面去使用隐士转换的发生的时机：1）当一个对象去调用某个方法，但是这个对象并不具备这个方法。   a: Int RichInt  (源码)   b：File RichFile (《快学scala》)package day4cl...

二次排序就是按照不同字段进行排序package test1import org.apache.spark.{SparkConf, SparkContext}class secondSort(val first:Int,val second:Int) extends Ordered[secondSort] with Serializable { override def compare...

数据来源有三张表：user_visit_action，描述用户点击信息，存储在hive中模拟数据如下：有效信息date，点击时间，city_id城市,order_product_id用户点击商品的iddate,user_id,session_id,page_id,action,city_id,search_keywords,order_product_id2018/5/1,,,,,010,,10...

package com.hjd.poiutils;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.io.OutputStream;import java.math.BigDecimal;i...