- 博客(7)
- 收藏
- 关注
RSS订阅
原创 SparkSQL创建表的几种方式
数据格式：7654,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30// 需要导入的包import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.catalyst.encoders.ExpressionEncoderi...
2018-11-25 20:42:46
16742
原创 Spark Streaming整合Flume，Mysql(基于Flume的Pull模式)，实时保存数据到Mysql
集群分配如下：192.168.58.11 spark01192.168.58.12 spark02192.168.58.13 spark03spark版本：spark-2.1.0-bin-hadoop2.7flume版本：apache-flume-1.7.0-binflume配置如下：#flume启动命令#bin/flume-ng agent -n a1 -f myagent/a...
2018-11-30 16:59:52
304
原创 Spark Streaming整合Flume，Mysql(基于Flume的Push模式)，实时保存数据到Mysql
集群分配如下：192.168.58.11 spark01192.168.58.12 spark02192.168.58.13 spark03spark版本：spark-2.1.0-bin-hadoop2.7flume版本：apache-flume-1.7.0-binflume配置如下：#flume启动命令#bin/flume-ng agent -n a4 -f conf/a4.c...
2018-11-30 16:58:58
284
原创 SparkSql操作表的两种方式
package com.kk.sparksqlimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.catalyst.encoders.ExpressionEncoderimport org.apache.spark.sql.Encoderimpor...
2018-11-25 21:02:15
1256
原创 Scala中常用的高阶函数
// map->在列表的每个元素上计算一个函数，并且返回一个包含相同数目元素的列表def main(args:Array[String]) { val num = List(1,2,3,4) num.map((i:Int)=>i*2) for (n <- num.map((i:Int)=>i*2)) { println(n) }...
2018-11-21 22:58:58
529
原创 Scala中的文件访问
1. 读取行def main(args:Array[String]) { // 读取行 val source = scala.io.Source.fromFile("G://a.txt"); println(source.mkString); val line = source.getLines(); for (s<-line) { pr...
2018-11-21 22:57:13
398
原创 Scala中的继承，抽象，特质
1. 继承// 父类class Person(val name:String, val age:Int) { def sayHello():String = name + age;}// 子类// 如果希望使用子类中的值，去覆盖父类中的值，需要加override关键字class Employee(override val name:String,override val age:...
2018-11-20 23:03:09
168
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人