2019年02月_dounine

11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Scala 反射动态创建方法的骚操作

有时候我们想定义一个字符串的方法，然后通过scala的动态创建class，然后反射调用方法，在很多情景下是在学有用的，比较动态自定义spark的mapParations，当然了，每个人的需求都不一样，但是底层原理是一样的。先画饼运行object CreateTest{ def main(args: Array[String]): Unit = { val cim = Cla...

2019-02-27 20:50:50 2501

原创简单易懂的Actor通讯系统栗子

使用定义消息协议object Messages { case class Hello(content: String) case class World(content: String)}定义常量object Cons { val ResourceManagerName = "ResourceManagerName" val NodeManagerName = "...

2019-02-21 11:15:29 280

原创来、这里有Hbase导出CSV格式数据的文章

新鲜文章，昨天刚经过线上验证过的，使用它导出了3亿的用户数据出来，花了半个小时，性能还是稳稳的，好了不吹牛皮了，直接上代码吧。MR考查了Hbase的各种MR，没有发现哪一个是能实现的，如果有请通知我，我给他发红包。所以我们只能自己来写一个MR了，编写一个Hbase的MR，官方文档上也有相应的例子。我们用来加以化妆就得到我们想要的了。导出的CSV格式为admin,22,北京admi...

2019-02-21 11:13:43 613

原创 Spark 在文件上直接使用SQL查询

有时候有没有这么一种情况，我拿到了一个sql,csv,parquet文件，一起来就想写sql，不想写那些乱七八糟的的东西，只是想快速实现我要的数据。那么我们可以利用spark直接操作文件的特性处理这样的问题。使用方法csvspark.sql("select * from csv.`/tmp/demo.csv`").show(false)jsonspark.sql("select *...

2019-02-21 11:11:39 776

原创 Spark 直接操作数据源 MySQL

如果我们的Mysql服务器性能不咋滴，但是硬盘很够，如何才能做各种复杂的聚合操作？答案就是使用spark的计算能力的，我们可以将mysql数据源接入到spark中。读取val mysqlDF = spark .read .format("jdbc") .option("driver","com.mysql.jdbc.Driver") .option("url","jdbc:...

2019-02-21 11:10:51 1241

在spark的数据源中，只支持Append, Overwrite, ErrorIfExists, Ignore,这几种模式，但是我们在线上的业务几乎全是需要upsert功能的，就是已存在的数据肯定不能覆盖，在mysql中实现就是采用：ON DUPLICATE KEY UPDATE，有没有这样一种实现？官方：不好意思，不提供，dounine：我这有呀，你来用吧。哈哈，为了方便大家的使用我已经把项目...

2019-02-21 11:10:10 2851 3

connect命令c脚本

用于网络连接的connect命令c脚本，可自行编译：gcc -o connect connect.c

2016-11-10

TortoiseSVN-1.9.2.26806-x64-svn-1.9.2

2015-10-16

mysql-5.5.29-winx64

2015-10-16

mysql-5.5.42.tar.gz

2015-07-23

linux SSH连接工具

linux SSH连接工具，SSHSecureShellClient

2015-07-23

tomcat7（8）redis集群相关jar包

这5个包是用于tomcat7（8）redis集群相关jar包。

2015-04-29

WinRAR64位破解版

非常好用WinRar64位，适合目前所有的windows64位操作系统。

2015-04-04

underscore.js 1.8.2

underscore.js官方出的最新版本，与backone.js一起使用。

2015-03-30

Backbone.1.1.2.js

Backbone.1.1.2.js最新版本,客户端mvc模式开发。

2015-03-30

apache-maven-3.2.5-bin.zip

maven最新版本apache-maven-3.2.5-bin.zip

2015-03-30

概念win8网页模板

概念win8网页模板,来源于dounine.com.

2015-03-30

Git-1.9.2-windows客户端

这个是git分布式项目管理windows客户端。

2015-03-30

commons-pool2-2.3.jar

2015-01-23

redis-2.8.19

redis-2.8.19是redis.io出的最新版本,可以使用它来做集群服务。

2015-01-23

tomcat-redis-session-manager

tomcat+redis集群，会话共享所用到的。

2015-01-23

JUnit4.9最新版本

JUnit是一个Java语言的单元测试框架，Junit4.9是最新版本，里面包括junit4.9,jar,junit4.9源代码，junit4.9-API(javadoc文件夹里面index.html), 希望对大家有帮助

2014-12-15

catalina-ant.jar

ant 用于自动化布署的专用包。少了它是不行的。

2014-12-10

apache-ant-1.9.4-bin.zip

2014-12-08

testng eclipse插件.zip

testng eclipse插件 eclipse run to testng

2014-12-08

Extjs4.2 动态加载项目(权限模块)

Extjs4.2 动态加载项目(权限模块)，直接下载下来即可使用，数据可自动生成。

2014-11-25

angularjs 中文api.chm

2014-11-19

AngularJS API.chm

AngularJS API.chm参考手册

2014-11-19

AsyncThreading_2.1.zip

2014-10-28

mybatis-spring-1.2.2.ja

mybatis-spring-1.2.2.

2014-09-22

WEB压力测试工具

一个很好的WEB压力测试工具。

2014-08-25

Git-1.8.5.2-preview20131230.exe

2014-08-15

org.eclipse.egit-updatesite-1.2.

2014-08-15

pinyin4j-2.5.0.zip

汉字转换拼音在日常开发中是个很常见的问题。例如我们伟大的12306，在地名中输入“WH”，就会出现“武汉”“芜湖”“威海”等地名，输入“WUHU”就会出现“芜湖”。 Java获取汉字的拼音，pinyin4j这个库可以很好的解决这个问题。

2014-08-13

google-collections-1.0.jar

道的最好的扩展实现包，其中一些被社区叫嚣着要加入JDK // create an ArrayList with three arguments List<String> list = Lists.newArrayList("foo", "bar", "baz"); // notice that there is no generics or class cast, // and still this line does not generate a warning. Set<String> s = Sets.newConcurrentHashSet(); // intersect and union are basic features of a Set, if you ask me Set<String> s = Sets.intersect(s1, s2); // Example of multiple values in a Map ListMultimap<String, Validator> validators = new ArrayListMultimap<String, Validator>(); validators.put("save", new RequiredValidator()); validators.put("save", new StringValidator()); validators.put("delete", new NumberValidator()); validators.get("save"); // { RequiredValidator, StringValidator } validators.get("foo"); // empty List (not null) validators.values(); // { RequiredValidator, StringValidator, NumberValidator }

2014-08-13

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 Scala 反射动态创建方法的骚操作

原创 简单易懂的Actor通讯系统栗子

原创 来、这里有Hbase导出CSV格式数据的文章

原创 Spark 在文件上直接使用SQL查询

原创 Spark 直接操作数据源 MySQL

原创 Spark 数据源jdbc2新增upsert功能

connect命令c脚本

TortoiseSVN-1.9.2.26806-x64-svn-1.9.2

mysql-5.5.29-winx64

mysql-5.5.42.tar.gz

linux SSH连接工具

tomcat7（8）redis集群相关jar包

WinRAR64位破解版

underscore.js 1.8.2

Backbone.1.1.2.js

apache-maven-3.2.5-bin.zip

概念win8网页模板

Git-1.9.2-windows客户端

commons-pool2-2.3.jar

redis-2.8.19

tomcat-redis-session-manager

JUnit4.9最新版本

catalina-ant.jar

apache-ant-1.9.4-bin.zip

testng eclipse插件.zip

Extjs4.2 动态加载项目(权限模块)

angularjs 中文api.chm

AngularJS API.chm

AsyncThreading_2.1.zip

mybatis-spring-1.2.2.ja

WEB压力测试工具

Git-1.8.5.2-preview20131230.exe

org.eclipse.egit-updatesite-1.2.

pinyin4j-2.5.0.zip

google-collections-1.0.jar

jasypt加密_spring整合.zip

extjs 图标大全

java jetty容器

ext-4.2.1.883.jsb2

extjs 自动提示用到的spket-1.6.23.jar

extjs 自动提示用到的sdk.jsb3

quartz-1.8.5.jar

lucene-4.7.0.rar

netty-4.0.0.CR3.tar.bz2

poi-bin-3.10-final.zip

springmvc+shiro+kaptcha+excel+hibernate+mail

空空如也

原创简单易懂的Actor通讯系统栗子

原创来、这里有Hbase导出CSV格式数据的文章