scala
秉寒-CHO
但行好事,莫问前程
展开
-
scala 排序算法 希尔排序
package com.xing.hai/** * Created by xxxxx on 2/22/2017. * Scala 语言中提供的数组是用来存储固定大小的同类型元素 * 数组的第一个元素索引为0,最后一个元素的索引为元素总数减1。 * 希尔排序 也叫最小增量排序 * * 算法先将要排序的一组数按某个增量 d(n/2,n为要排序数的个数)分成若 * 干组,原创 2017-02-22 19:29:45 · 465 阅读 · 0 评论 -
scala 排序算法 简单选择算法
package com.xing.hai/** * Created by xxxxx on 2/22/2017. * 简单选择排序 * 核心逻辑 * 在要排序的一组数中,选出最小的一个数与第一个位置的数交换; * 然后在剩下的数当中再找最小的与第二个位置的数交换, * 如此循环到倒数第二个数和最后一个数比较为止。 */object OrderSelectSort原创 2017-02-22 19:32:30 · 742 阅读 · 0 评论 -
Scala 异常和懒加载
package com.xing.listfileimport java.io.IOException/** * Created by DengNi on 2017/2/14. */object HelloExceptionAndLazy { def main(args: Array[String]) { try{ 1/0 }catch{原创 2017-02-14 21:31:00 · 432 阅读 · 0 评论 -
scala 排序算法 堆排序
package com.xing.hai/** * Created by xxxx on 2/23/2017. */object OrderHeapSort extends App{ val sortArray = Array(49,38,65,97,76,13,27,49,78,34,12,64,5,4,62,99,98,54,56,17,18,23,34,15,35,25,原创 2017-02-23 21:32:10 · 640 阅读 · 0 评论 -
scala 排序算法 冒泡排序
package com.xing.listfile/** * Created by DengNi on 2017/2/23. */object OrderBubbleSort extends App { val sortArray = Array(49,38,65,97,76,13,27,49,78,34,12,64,5,4,62,99,98,54,56,17,18,23,3原创 2017-02-23 22:39:34 · 2441 阅读 · 0 评论 -
scala 提取器
scala 提取器原创 2017-02-15 21:38:31 · 325 阅读 · 0 评论 -
scala 排序算法 快速排序
package com.xing.hai/** * Created by xxxx on 2/24/2017. */object OrderQuickSort extends App{ val sortArray = Array(49,38,65,97,76,13,27,49,78,34,12,64,5,4,62,99,98,54,56,17,18,23,34,15,35,25原创 2017-02-24 23:20:34 · 656 阅读 · 0 评论 -
scala 排序算法 基数排序
scala 排序算法 基数排序原创 2017-02-25 01:21:34 · 374 阅读 · 0 评论 -
scala 统计Datastage log 中每个job 的执行时间 以及一个batch job 中total 时间
package com.x.himport java.io.Fileimport scala.io.Source/** * Created by xxxxx on 3/7/2017. * read logs and anlysis the interval time * Notes://ltsgdb001b/8525691C004D9994/0000035F748061058原创 2017-03-07 21:25:27 · 667 阅读 · 0 评论 -
Spark RDD 的那些个事事
内容来自京东金融微信公众号整理和解读Google 发表三大论文 GFS MapReduce BigTable 衍生出很多开源框架 ,毫无疑问 Hadoop 在 大家心中的地位是不可估量的 。Hadoop 因为其高可用 高扩展 高容错 特性成为开源工业界的事实标准,作为一个可以搭建下廉价PC 机器上的分布式集群体系 ,Hadoop 用户可以不关心底层实现细节 ,利用Hadoop原创 2017-03-28 22:08:54 · 7115 阅读 · 0 评论 -
Spark RDD 实现电影点评用户行为分析 (Scala)
package com.xh.moviesimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import scala.collection.mutableimport org.apache.log4j.{Level,Logger}/** * Created by sss原创 2017-03-12 23:48:48 · 1522 阅读 · 1 评论 -
Scala 入门基础
为何学习{可拓展 --> 面向对象 函数式编程兼容java --> 类库兼容 互操作语法简洁 --> 代码行段 类型推断 抽象控制 静态类型化 --> 可检验 安全重构 支持并发控制 --> 强计算能力 自定义其他控制结构 point ,but 编译比较慢原创 2017-03-23 22:45:42 · 529 阅读 · 0 评论 -
Spark Scala 二次排序
package com.second.sortbysparkimport org.apache.spark.{SparkConf, SparkContext}/** * Created by xxxxx on 3/14/2017. */object SecondarySort { def main(args: Array[String]): Unit = { va原创 2017-03-14 21:20:45 · 982 阅读 · 1 评论 -
Spark Scala DataFram join 操作
package com.xh.moviesimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.{Row, SparkSession}import org.apache.spark.sql.types.{StringType,原创 2017-03-15 20:47:59 · 2340 阅读 · 0 评论 -
python scala kafka 集成一个流程项目 spark
想在windows 下 ,搭建一个spark kafka 的 最简单的实时流计算:python 随机生成0-100 的随机数据,发送给spark 进行统计scala 2.11python 3.5java 1.8kafka_2.11-0.11.0.0.tgzzookeeper-3.4.9.tar.gzspark 2.2step 1 zk 配置 ,启动zk原创 2017-08-19 13:54:05 · 539 阅读 · 0 评论 -
zk kafka mariadb scala flink integration
zk kafka mariadb scala flink integrationI do not want to write this paper in the beginning , put the codes onto github.com/git.jd.com, while there some errors since moved to jdd(jd finance) this mon...原创 2019-01-17 08:50:28 · 250 阅读 · 0 评论 -
scala 排序算法 直接插入排序
package com.xing.hai/** * Created by xxxxx on 2/22/2017. * 直接插入排序 核心逻辑: * * 在要排序的一组数中,假设前面 (n-1) [n>=2] 个数已经是排好顺序的, * 现在要把第n 个数插到前面的有序数中, * 使得这 n个数也是排好顺序的。如此反复循环,直到全部排好顺序。 */obje原创 2017-02-22 19:26:36 · 796 阅读 · 0 评论 -
scala 排序算法 归并排序
scala 排序算法 归并排序原创 2017-02-25 01:20:23 · 718 阅读 · 0 评论 -
First Steps to Scala
Scala is a statically typed, object-oriented programming language that blends imperative and functional programming styles. Scala isdesigned to integrate easily with applications that run on modern vi转载 2016-08-25 14:31:02 · 618 阅读 · 1 评论 -
逻辑回归(推荐系统)
import java.io.PrintWriterimport org.apache.log4j.{Level, Logger}import org.apache.spark.mllib.linalg.SparseVectorimport org.apache.spark.mllib.regression.LabeledPointimport org.apache.spark.rdd.原创 2016-09-17 20:45:31 · 3363 阅读 · 1 评论 -
Spark Scalaa 几个常用的示例
SparkWordCount 类源码 standalong 模式import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.SparkContext._object SparkWordCount { def FILE_NAME:String = "word_c原创 2016-10-10 12:37:46 · 6431 阅读 · 1 评论 -
Spark Streaming 应用实例
案例介绍与编程实现1. 案例介绍该案例中,我们假设某论坛需要根据用户对站内网页的点击量,停留时间,以及是否点赞,来近实时的计算网页热度,进而动态的更新网站的今日热点模块,把最热话题的链接显示其中。2. 案例分析对于某一个访问论坛的用户,我们需要对他的行为数据做一个抽象,以便于解释网页话题热度的计算过程。首先,我们通过一个向量来定义用户对于某个网页的行为即点击原创 2016-10-10 13:45:03 · 607 阅读 · 2 评论 -
大数据面试题
1.列举spark 比hadoop 快的原 因 ,以及现在存在的主要问题2.描述下使用spark streaming 和 GraphX实现实时计算的可行性,以及可能会遇到的问题3.GraphX的Pregel API 只支持有向图遍历 ,如何实现无xiang 遍历,描述思路4.SPark 通过yarn 提交任务时,yarn-client & yarn-cluster 的区别原创 2016-10-15 13:36:56 · 1067 阅读 · 0 评论 -
Scala 版 word count
package com.oracle.scalaimport org.apache.spark.SparkConfimport org.apache.spark.SparkContext/** * WordCount示例 */object WordCount { def main(args: Array[String]): Unit = { //创建SparkConf原创 2016-12-05 21:14:33 · 662 阅读 · 0 评论 -
Spark streaming 采用直接读kafka 方法获取数据
package com.xing.streamimport kafka.serializer.StringDecoderimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka.KafkaUtilsimport org.apache.spark.streaming.{Seconds, Streamin原创 2016-12-16 21:58:43 · 4447 阅读 · 0 评论 -
spark parquet 从hdfs 上读 和写 scala 版本
import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextimport org.apache.spark.sql.DataFrameimport org.apache.spark.sql.SaveModeobject Generi原创 2017-01-17 21:40:33 · 2902 阅读 · 0 评论 -
SPark SQL 从 DB 读取数据方法和方式 scala
import org.apache.spark.sql.SQLContextimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport java.util.HashMapimport org.apache.spark.sql.Rowimport org.apache.spark.sql.DataF原创 2017-01-17 22:06:20 · 1147 阅读 · 0 评论 -
开会讨论,写一段scala 代码
package com./** * Created by xxxx on 2/16/2017. */object Test extends App{ def Nn(): Unit ={ for(x =y)){ val xy = if(x*y < 10) x*y +" " else x*y print( y +" * " +x +" = "+ x原创 2017-02-17 23:26:12 · 247 阅读 · 0 评论 -
Scala 函数式编程进阶 最重要的内容
package com.dtspark.scala.basics /** * 函数式编程进阶: * 1,函数和变量一样作为Scala语言的一等公民,函数可以直接赋值给变量; * 2, 函数更长用的方式是匿名函数,定义的时候只需要说明输入参数的类型和函数体即可,不需要名称,但是如果你要使用的话,一般会把这个 * 匿名函数赋值给一个变量(其实是val常量),Spark源码中大量存原创 2017-02-11 08:45:00 · 212 阅读 · 0 评论 -
Scala 函数式编程进阶 2 更详 代码说明
package com.xing.listfile/** * Created by DengNi on 2017/2/11. */object functionalProgramming { def main(args: Array[String]) { // 把函数赋值给一个变量 val hs = helloSpark _ //此处应该是一个不可变量,但是如原创 2017-02-11 09:30:51 · 244 阅读 · 0 评论 -
Scala 模式匹配的五种情形,值,case class ,optional ,数据类型,集合内数据
package com.xing.listfile/** * Created by DengNi on 2017/2/11. */class DataFrameworkcase class ComputationFramework(val name:String,val age:Int) extends DataFrameworkcase class StorageFramew原创 2017-02-11 13:30:28 · 1237 阅读 · 0 评论 -
集合上的函数式编程 示例
package com.xing.listfile/** * Created by DengNi on 2017/2/12. * * 1,在Scala的集合体系中Iterable是共同的Trait,Iterable要求继承者实现一些共同的方法,例如对元素的遍历等; * 2,Array是一个非常基础的数据结构,不从属于Scala集合的体系; * 3,Scala的集合体系中集合原创 2017-02-12 11:17:38 · 296 阅读 · 0 评论 -
Scala 类型系统编程 有点复杂 ,也是重点
package com.xing.listfile/** * Created by DengNi on 2017/2/12. * * Scala类型系统编程实战: * 1,Scala的类和方法、函数都可以是泛型,在Spark源码中可以到处看到类和方法的泛型,在实际实例化的时候指定具体 * 的类型,例如Spark最核心、最基础、最重要的抽象数据结构RDD里面关于RD原创 2017-02-12 18:57:17 · 568 阅读 · 0 评论 -
Scala 隐式转换 重要一点 什么是隐式转换以及隐式转换带来的好处
Scala 隐式转换 重要一点 什么事隐式转换原创 2017-02-12 19:40:15 · 971 阅读 · 0 评论 -
Scala 初级入门课程一
package cn.dowhatyouwant.codes/** * Created by DengNi on 2016/8/31. * Scala 是动态语言,静态类型,因为难,所以用起来方便 * spark 太优秀每个人都应该去学习,使用 * 学习spark 优先推荐scala python * 基于jvm fp + oo * 跟java 互操作 * inte原创 2016-08-31 21:34:14 · 508 阅读 · 0 评论