自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

多一份贡献,多一份环保

https://github.com/dounine

  • 博客(6)
  • 资源 (64)
  • 收藏
  • 关注

原创 Scala 反射动态创建方法的骚操作

有时候我们想定义一个字符串的方法,然后通过scala的动态创建class,然后反射调用方法,在很多情景下是在学有用的,比较动态自定义spark的mapParations,当然了,每个人的需求都不一样,但是底层原理是一样的。先画饼运行object CreateTest{ def main(args: Array[String]): Unit = { val cim = Cla...

2019-02-27 20:50:50 2501

原创 简单易懂的Actor通讯系统栗子

使用定义消息协议object Messages { case class Hello(content: String) case class World(content: String)}定义常量object Cons { val ResourceManagerName = "ResourceManagerName" val NodeManagerName = "...

2019-02-21 11:15:29 280

原创 来、这里有Hbase导出CSV格式数据的文章

新鲜文章,昨天刚经过线上验证过的,使用它导出了3亿的用户数据出来,花了半个小时,性能还是稳稳的,好了不吹牛皮了,直接上代码吧。MR考查了Hbase的各种MR,没有发现哪一个是能实现的,如果有请通知我,我给他发红包。所以我们只能自己来写一个MR了,编写一个Hbase的MR,官方文档上也有相应的例子。我们用来加以化妆就得到我们想要的了。导出的CSV格式为admin,22,北京admi...

2019-02-21 11:13:43 613

原创 Spark 在文件上直接使用SQL查询

有时候有没有这么一种情况,我拿到了一个sql,csv,parquet文件,一起来就想写sql,不想写那些乱七八糟的的东西,只是想快速实现我要的数据。那么我们可以利用spark直接操作文件的特性处理这样的问题。使用方法csvspark.sql("select * from csv.`/tmp/demo.csv`").show(false)jsonspark.sql("select *...

2019-02-21 11:11:39 776

原创 Spark 直接操作数据源 MySQL

如果我们的Mysql服务器性能不咋滴,但是硬盘很够,如何才能做各种复杂的聚合操作?答案就是使用spark的计算能力的,我们可以将mysql数据源接入到spark中。读取val mysqlDF = spark .read .format("jdbc") .option("driver","com.mysql.jdbc.Driver") .option("url","jdbc:...

2019-02-21 11:10:51 1241

原创 Spark 数据源jdbc2新增upsert功能

在spark的数据源中,只支持Append, Overwrite, ErrorIfExists, Ignore,这几种模式,但是我们在线上的业务几乎全是需要upsert功能的,就是已存在的数据肯定不能覆盖,在mysql中实现就是采用:ON DUPLICATE KEY UPDATE,有没有这样一种实现?官方:不好意思,不提供,dounine:我这有呀,你来用吧。哈哈,为了方便大家的使用我已经把项目...

2019-02-21 11:10:10 2851 3

connect命令c脚本

用于网络连接的connect命令c脚本,可自行编译:gcc -o connect connect.c

2016-11-10

TortoiseSVN-1.9.2.26806-x64-svn-1.9.2

TortoiseSVN-1.9.2.26806-x64-svn-1.9.2

2015-10-16

mysql-5.5.29-winx64

mysql-5.5.29-winx64

2015-10-16

mysql-5.5.42.tar.gz

mysql-5.5.42.tar.gz

2015-07-23

linux SSH连接工具

linux SSH连接工具,SSHSecureShellClient

2015-07-23

tomcat7(8)redis集群相关jar包

这5个包是用于tomcat7(8)redis集群相关jar包。

2015-04-29

WinRAR64位破解版

非常好用WinRar64位,适合目前所有的windows64位操作系统。

2015-04-04

underscore.js 1.8.2

underscore.js官方出的最新版本,与backone.js一起使用。

2015-03-30

Backbone.1.1.2.js

Backbone.1.1.2.js最新版本,客户端mvc模式开发。

2015-03-30

apache-maven-3.2.5-bin.zip

maven最新版本apache-maven-3.2.5-bin.zip

2015-03-30

概念win8网页模板

概念win8网页模板,来源于dounine.com.

2015-03-30

Git-1.9.2-windows客户端

这个是git分布式项目管理windows客户端。

2015-03-30

commons-pool2-2.3.jar

commons-pool2-2.3.jar

2015-01-23

redis-2.8.19

redis-2.8.19是redis.io出的最新版本,可以使用它来做集群服务。

2015-01-23

tomcat-redis-session-manager

tomcat+redis集群,会话共享所用到的。

2015-01-23

JUnit4.9最新版本

JUnit是一个Java语言的单元测试框架,Junit4.9是最新版本,里面包括junit4.9,jar,junit4.9源代码,junit4.9-API(javadoc文件夹里面index.html), 希望对大家有帮助

2014-12-15

catalina-ant.jar

ant 用于自动化布署的专用包。少了它是不行的。

2014-12-10

apache-ant-1.9.4-bin.zip

apache-ant-1.9.4-bin.zip

2014-12-08

testng eclipse插件.zip

testng eclipse插件 eclipse run to testng

2014-12-08

Extjs4.2 动态加载项目(权限模块)

Extjs4.2 动态加载项目(权限模块),直接下载下来即可使用,数据可自动生成。

2014-11-25

angularjs 中文api.chm

angularjs 中文api.chm

2014-11-19

AngularJS API.chm

AngularJS API.chm参考手册

2014-11-19

AsyncThreading_2.1.zip

AsyncThreading_2.1.zip

2014-10-28

mybatis-spring-1.2.2.ja

mybatis-spring-1.2.2.

2014-09-22

WEB压力测试工具

一个很好的WEB压力测试工具。

2014-08-25

Git-1.8.5.2-preview20131230.exe

Git-1.8.5.2-preview20131230.exe

2014-08-15

org.eclipse.egit-updatesite-1.2.

org.eclipse.egit-updatesite-1.2.

2014-08-15

pinyin4j-2.5.0.zip

汉字转换拼音在日常开发中是个很常见的问题。例如我们伟大的12306,在地名中输入“WH”,就会出现“武汉”“芜湖”“威海”等地名,输入“WUHU”就会出现“芜湖”。 Java获取汉字的拼音,pinyin4j这个库可以很好的解决这个问题。

2014-08-13

google-collections-1.0.jar

道的最好的扩展实现包,其中一些被社区叫嚣着要加入JDK // create an ArrayList with three arguments List<String> list = Lists.newArrayList("foo", "bar", "baz"); // notice that there is no generics or class cast, // and still this line does not generate a warning. Set<String> s = Sets.newConcurrentHashSet(); // intersect and union are basic features of a Set, if you ask me Set<String> s = Sets.intersect(s1, s2); // Example of multiple values in a Map ListMultimap<String, Validator> validators = new ArrayListMultimap<String, Validator>(); validators.put("save", new RequiredValidator()); validators.put("save", new StringValidator()); validators.put("delete", new NumberValidator()); validators.get("save"); // { RequiredValidator, StringValidator } validators.get("foo"); // empty List (not null) validators.values(); // { RequiredValidator, StringValidator, NumberValidator }

2014-08-13

jasypt加密_spring整合.zip

这个是用于给hibernate的配置文件加密使用的 jasypt加密_spring整合.zip

2014-08-06

extjs 图标大全

你所想用到的图标基本在里面都能找到

2014-07-25

java jetty容器

这是一个jetty容器、和tomcat是一个级别的,但是这个启动是非常快的,一般都是用于开发。

2014-07-14

ext-4.2.1.883.jsb2

ext-4.2.1.883.jsb2

2014-07-08

extjs 自动提示用到的spket-1.6.23.jar

extjs 自动提示用到的spket-1.6.23.jar

2014-07-07

extjs 自动提示用到的sdk.jsb3

sdk.jsb3

2014-07-07

quartz-1.8.5.jar

quartz-1.8.5.jar

2014-07-05

lucene-4.7.0.rar

lucene-4.7.0.rar

2014-07-05

netty-4.0.0.CR3.tar.bz2

netty-4.0.0.CR3.tar.bz2

2014-07-05

poi-bin-3.10-final.zip

apache用于操作excel的poi-bin-3.10-final.zip

2014-07-02

springmvc+shiro+kaptcha+excel+hibernate+mail

mvc shiro kaptcha excel hibernate mail log4j

2014-07-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除