- 博客(6)
- 资源 (64)
- 收藏
- 关注
原创 Scala 反射动态创建方法的骚操作
有时候我们想定义一个字符串的方法,然后通过scala的动态创建class,然后反射调用方法,在很多情景下是在学有用的,比较动态自定义spark的mapParations,当然了,每个人的需求都不一样,但是底层原理是一样的。先画饼运行object CreateTest{ def main(args: Array[String]): Unit = { val cim = Cla...
2019-02-27 20:50:50 2501
原创 简单易懂的Actor通讯系统栗子
使用定义消息协议object Messages { case class Hello(content: String) case class World(content: String)}定义常量object Cons { val ResourceManagerName = "ResourceManagerName" val NodeManagerName = "...
2019-02-21 11:15:29 280
原创 来、这里有Hbase导出CSV格式数据的文章
新鲜文章,昨天刚经过线上验证过的,使用它导出了3亿的用户数据出来,花了半个小时,性能还是稳稳的,好了不吹牛皮了,直接上代码吧。MR考查了Hbase的各种MR,没有发现哪一个是能实现的,如果有请通知我,我给他发红包。所以我们只能自己来写一个MR了,编写一个Hbase的MR,官方文档上也有相应的例子。我们用来加以化妆就得到我们想要的了。导出的CSV格式为admin,22,北京admi...
2019-02-21 11:13:43 613
原创 Spark 在文件上直接使用SQL查询
有时候有没有这么一种情况,我拿到了一个sql,csv,parquet文件,一起来就想写sql,不想写那些乱七八糟的的东西,只是想快速实现我要的数据。那么我们可以利用spark直接操作文件的特性处理这样的问题。使用方法csvspark.sql("select * from csv.`/tmp/demo.csv`").show(false)jsonspark.sql("select *...
2019-02-21 11:11:39 776
原创 Spark 直接操作数据源 MySQL
如果我们的Mysql服务器性能不咋滴,但是硬盘很够,如何才能做各种复杂的聚合操作?答案就是使用spark的计算能力的,我们可以将mysql数据源接入到spark中。读取val mysqlDF = spark .read .format("jdbc") .option("driver","com.mysql.jdbc.Driver") .option("url","jdbc:...
2019-02-21 11:10:51 1241
原创 Spark 数据源jdbc2新增upsert功能
在spark的数据源中,只支持Append, Overwrite, ErrorIfExists, Ignore,这几种模式,但是我们在线上的业务几乎全是需要upsert功能的,就是已存在的数据肯定不能覆盖,在mysql中实现就是采用:ON DUPLICATE KEY UPDATE,有没有这样一种实现?官方:不好意思,不提供,dounine:我这有呀,你来用吧。哈哈,为了方便大家的使用我已经把项目...
2019-02-21 11:10:10 2851 3
JUnit4.9最新版本
2014-12-15
pinyin4j-2.5.0.zip
2014-08-13
google-collections-1.0.jar
2014-08-13
springmvc+shiro+kaptcha+excel+hibernate+mail
2014-07-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人