scala
JasonTome
class Welcome To Myblog { public static void main(String[] args){ System.out.println(" I can changed the lives of others through technology and hard work!");}
展开
-
Spark学习资源整合(持续更新)
一、为什么学习Spark 大数据技术快速发展,Spark为Hadoop大数据技术生态体系带了新的活力与技术革新。至于为什么学习Spark,这样的问题真的是一千个人心中有一千个哈姆雷特。Spark的官网告诉我们:Apache Spark™ is a fast and general engine for large-scale data processing.而其独特魅力已经在疯狂地影转载 2016-08-29 22:34:40 · 1054 阅读 · 0 评论 -
Spark Core核心编程之广播变量剖析
本文转自AiTi修炼|大数据技术窥探记录一些个人学习Scala,Spark,Hadoop,Storm,Nodejs,RSpark,Storm,Hbase,Hive,Flume等IT技术的历程如果深入思考spark的分布式集群工作过程,就会发现有一些问题是分布式多节点需要考虑解决的。如一些变量在集群节点之间的拷贝。如我们在应用程序中编写代码,实际运行时候是将相关的代码转载 2016-10-12 14:43:14 · 661 阅读 · 0 评论 -
scala如何连接和操作mysql/oracle/sqlserver数据库
【问题场景】 在scala中怎么连接mysql/oracle/sqlserver数据库,进行数据库操作。* 【解决思路】 了解scala的强大特性我们会发现java中的东西,scala基本可以拿来使用,那么要解决scala连接数据库的问题,自然是可以通过java最经典的JDBC方式来解决,当然了现在针对scala操作数据库的,已经有涌现出了很多封装框架如ScalaQuery转载 2017-04-27 13:24:56 · 3785 阅读 · 0 评论 -
spark学习之combineByKey函数
在数据分析中,处理Key,V alue的Pair数据是极为常见的场景,例如我们可以针对这样的数据进行分组、聚合或者将两个包含Pair数据的RDD根据key进行join。从函数的抽象层面看,这些操作具有共同的特征,都是将类型为RDD[(K,V)]的数据处理为RDD[(K,C)]。这里的V和C可以是相同类型,也可以是不同类型。这种数据处理操作并非单纯的对Pair的value进行map,而是针对不同的k转载 2017-04-27 13:29:58 · 781 阅读 · 0 评论