Scala
NewBee.Mu
这个作者很懒,什么都没留下…
展开
-
将数据灌入redis中
package toolsimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.{DataFrame, SparkSession}import utils.GetJedisConn//将列车出厂时间灌入redis中object TrainTime2Redis { def main(args: Array[String...原创 2019-11-19 09:28:05 · 355 阅读 · 0 评论 -
利用广播变量来进行数据的传输
package reportimport config.ConfigHelperimport org.apache.spark.broadcast.Broadcastimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSessionimport scalikejdbc.{DB, SQL}import scal...原创 2019-11-19 09:12:55 · 382 阅读 · 0 评论 -
离线报表实现
我们在对报表进行处理的时候,怎么以一个属性为维度,统计其他属性的指标。以下的案例是我们对我们的报表以配属铁路局为维度统计他们的各个指标,而且要使用多种方法,并且要能输出到json和mysql中package reportimport java.util.Propertiesimport com.google.gson.Gsonimport config.ConfigHelperim...原创 2019-11-16 21:17:26 · 934 阅读 · 1 评论 -
测试scalikejdbc的使用(crud)
package scalikejdbcimport scalikejdbc.config.DBs//测试scalikejdbc的使用object scalaJdbcDemo { def main(args: Array[String]): Unit = { //插入数据 //加载配置文件中的jdbc,要求表是存在的 DBs.setup() //就要写...原创 2019-11-16 11:11:57 · 165 阅读 · 0 评论 -
数据清洗
在对数据进行处理的时候,很多时候需要我们进行数据清洗。下面的案例就是对大量的数据进行处理:每行代码完成的任务在备注中都有叙述package etlimport java.io.Fileimport java.text.SimpleDateFormatimport java.util.Dateimport bean.{Logs, logSchema}import config.C...原创 2019-11-15 01:10:00 · 406 阅读 · 0 评论 -
【面试题】有两个变量,a和b,要求将其进行交换,但是不允许使用中间变量,最终打印结果:
问题:有两个变量,a和b,要求将其进行交换,但是不允许使用中间变量,最终打印结果:答案:a=1b=2a=a+b=3b=a-b=1a=a-b=2原创 2019-10-29 00:44:57 · 771 阅读 · 0 评论