原创 java jdbc 操作 hive 建表 load 数据

// 需要引入 hadoop & hive jar import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.Statement;/*** 演示了通过java jdbc 操作hive ，一般企业环境不会这么做 ，hive 目的是去jav

原创 Hive Partition 操作

create external table demo (userid int ,name string ,address string)comment 'demo'partitioned by (txdate string ,txhour string)row format delimited fields terminated by '\t'lines terminated by '\n

原创 复杂迭代代码分析

package com.xing.listfile/** * Created by DengNi on 2017/2/25. */object recursive extends App{ recursive(1,5) def recursive(left:Int,right:Int):Unit ={ if (left < right){

原创 scala 排序算法 基数排序

scala 排序算法 基数排序

原创 scala 排序算法 归并排序

scala 排序算法 归并排序

原创 scala 排序算法 快速排序

package com.xing.hai/** * Created by xxxx on 2/24/2017. */object OrderQuickSort extends App{ val sortArray = Array(49,38,65,97,76,13,27,49,78,34,12,64,5,4,62,99,98,54,56,17,18,23,34,15,35,25

原创 scala 排序算法 冒泡排序

package com.xing.listfile/** * Created by DengNi on 2017/2/23. */object OrderBubbleSort extends App { val sortArray = Array(49,38,65,97,76,13,27,49,78,34,12,64,5,4,62,99,98,54,56,17,18,23,3

原创 scala 排序算法 堆排序

package com.xing.hai/** * Created by xxxx on 2/23/2017. */object OrderHeapSort extends App{ val sortArray = Array(49,38,65,97,76,13,27,49,78,34,12,64,5,4,62,99,98,54,56,17,18,23,34,15,35,25,

原创 排序算法 八种排序算法的分类

原创 scala 排序算法 简单选择算法

package com.xing.hai/** * Created by xxxxx on 2/22/2017. * 简单选择排序 * 核心逻辑 * 在要排序的一组数中，选出最小的一个数与第一个位置的数交换； * 然后在剩下的数当中再找最小的与第二个位置的数交换， * 如此循环到倒数第二个数和最后一个数比较为止。 */object OrderSelectSort

原创 scala 排序算法 希尔排序

package com.xing.hai/** * Created by xxxxx on 2/22/2017. * Scala 语言中提供的数组是用来存储固定大小的同类型元素 * 数组的第一个元素索引为0，最后一个元素的索引为元素总数减1。 * 希尔排序 也叫最小增量排序 * * 算法先将要排序的一组数按某个增量 d（n/2,n为要排序数的个数）分成若 * 干组，

原创 scala 排序算法 直接插入排序

package com.xing.hai/** * Created by xxxxx on 2/22/2017. * 直接插入排序 核心逻辑： * * 在要排序的一组数中，假设前面 (n-1) [n>=2] 个数已经是排好顺序的， * 现在要把第n 个数插到前面的有序数中， * 使得这 n个数也是排好顺序的。如此反复循环，直到全部排好顺序。 */obje

原创 开会讨论，写一段scala 代码

package com./** * Created by xxxx on 2/16/2017. */object Test extends App{ def Nn(): Unit ={ for(x =y)){ val xy = if(x*y < 10) x*y +" " else x*y print( y +" * " +x +" = "+ x

原创 scala 提取器

scala 提取器

原创 Scala 异常和懒加载

package com.xing.listfileimport java.io.IOException/** * Created by DengNi on 2017/2/14. */object HelloExceptionAndLazy { def main(args: Array[String]) { try{ 1/0 }catch{

原创 Scala 隐式转换 重要一点 什么是隐式转换以及隐式转换带来的好处

Scala 隐式转换 重要一点 什么事隐式转换

原创 Scala 类型系统编程 有点复杂 ，也是重点

package com.xing.listfile/** * Created by DengNi on 2017/2/12. * * Scala类型系统编程实战： * 1，Scala的类和方法、函数都可以是泛型，在Spark源码中可以到处看到类和方法的泛型，在实际实例化的时候指定具体 * 的类型，例如Spark最核心、最基础、最重要的抽象数据结构RDD里面关于RD

原创 集合上的函数式编程 示例

package com.xing.listfile/** * Created by DengNi on 2017/2/12. * * 1,在Scala的集合体系中Iterable是共同的Trait，Iterable要求继承者实现一些共同的方法，例如对元素的遍历等； * 2，Array是一个非常基础的数据结构，不从属于Scala集合的体系； * 3，Scala的集合体系中集合

原创 Scala 模式匹配的五种情形，值，case class ，optional ，数据类型，集合内数据

package com.xing.listfile/** * Created by DengNi on 2017/2/11. */class DataFrameworkcase class ComputationFramework(val name:String,val age:Int) extends DataFrameworkcase class StorageFramew

原创 Scala 函数式编程进阶 2 更详 代码说明

package com.xing.listfile/** * Created by DengNi on 2017/2/11. */object functionalProgramming { def main(args: Array[String]) { // 把函数赋值给一个变量 val hs = helloSpark _ //此处应该是一个不可变量，但是如

原创 Scala 函数式编程进阶 最重要的内容

package com.dtspark.scala.basics /** * 函数式编程进阶： * 1，函数和变量一样作为Scala语言的一等公民，函数可以直接赋值给变量； * 2, 函数更长用的方式是匿名函数，定义的时候只需要说明输入参数的类型和函数体即可，不需要名称，但是如果你要使用的话，一般会把这个 * 匿名函数赋值给一个变量（其实是val常量），Spark源码中大量存