Quartz使用总结

转载自http://www.cnblogs.com/drift-ice/p/3817269.htmlQuartz可以用来做什么?Quartz是一个任务调度框架。比如你遇到这样的问题想每月25号,信用卡自动还款想每年4月1日自己给当年暗恋女神发一封匿名贺卡想每隔1小时,备份一下自己的爱情动作片 学习笔记到云盘这些问题总结起来就是:在某一个有规律的时间点干某件事。并且时间的触发的条件可以非常复杂(比如...
阅读(13) 评论(0)

让RDF支持BLOB:支持BLOB操作的Jena框架扩展——JenaBLOB

与研究语义网的同行们分享一下上半年做的一个东西,它是支持BLOB操作的Jena框架扩展——JenaBLOB,已在GitHub上开源,欢迎提出宝贵意见!众所周知,Jena是不支持BLOB类型的Literal的,但根据RDF强大的模型来说,它并不排除属性值可以是BLOB类型。JenaBLOB用于实现这种功能。托管地址:https://github.com/bluejoe2008/jena-blobje...
阅读(33) 评论(0)

云盘开发利器elfinder

elFinder 是一个基于 Web 的文件管理器,灵感来自 Mac OS X 的 Finder 程序。elFinder 的安装方法很简单,按照以下几个步骤即可:1. 引入 jQuery 和 jQuery UI 包[html] view plain copyscript src="js/jquery.js" type="text/javascript" charset="utf-8">script...
阅读(48) 评论(1)

solr cloud的sql查询引擎solr-sql

SolrCloud介绍在我们应用还很渺小的时候,一台Solr服务器能完全胜任这份工作,随着我们应用慢慢长大,访问也越来越多,一台Solr服务器的弊病也逐渐显现如查询变慢了,机器宕机就无法继续提供服务,于是乎我们引入了Solr集群,通过前端负载均衡和索引Replication来分担一台机器的压力,这样既能提高查询速度,也能避免单机故障问题而且是可伸缩的解决方案,一切看起来很OK,问题也暂时解决了,但...
阅读(28) 评论(0)

将项目发布到Maven中央库

https://my.oschina.net/looly/blog/270767摘要: 前几天参考@黄勇 大神的博客http://my.oschina.net/huangyong/blog/226738成功将我的Hutool项目发布到了Maven的中央库,发表这篇博客以做纪念,顺便重新整理步骤并说明一下在发布过程中遇到的一些原博客中没有说明的问题。前几天参考[@黄勇]1 大神的博客 http://...
阅读(36) 评论(0)

著名Web文件管理器elfinder的java servlet后端,支持自定义

https://github.com/bluejoe2008/elfinder-2.x-servletwhat's elfinder-2.x-servletelfinder-2.x-servlet implements a java servlet for elfinder-2.x connectorelfinder is an Open-source file manager for web,...
阅读(229) 评论(0)

大数据框架对比:Hadoop、Storm、Samza、Spark和Flink

http://www.infoq.com/cn/articles/hadoop-storm-samza-spark-flink/简介大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,以及价值在最近几年才经历了大规模扩展。在之前的文章中,我们曾经介绍过有关大数据系统的常规概念、...
阅读(60) 评论(0)

深入理解Apache Flink核心技术

作者:李呈祥 作者简介:Intel BigData Team软件工程师,主要关注大数据计算框架与SQL引擎的性能优化,Apache Hive Committer,Apache Flink Contributor。 责任编辑:仲浩(zhonghao@csdn.net) 文章来源:《程序员》2月期 版权声明:本文为《程序员》原创文章,未经允许不得转载,订阅2016年《程序员》请点击 http://di...
阅读(37) 评论(0)

Flink架构、原理与部署测试

http://blog.csdn.net/jdoouddm7i/article/details/62039337Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为它们所提供的SLA(Service-Level-Aggreemen...
阅读(43) 评论(0)

Apache Flink vs Apache Spark

https://www.iteblog.com/archives/1624.html我们是否还需要另外一个新的数据处理引擎?当我第一次听到Flink的时候这是我是非常怀疑的。在大数据领域,现在已经不缺少数据处理框架了,但是没有一个框架能够完全满足不同的处理需求。自从Apache Spark出现后,貌似已经成为当今把大部分的问题解决得最好的框架了,所以我对另外一款解决类似问题的框架持有很强烈的怀疑态...
阅读(31) 评论(0)

spark数据流的合并与分支

spark数据流(data flow)的合并可以通过union来实现。先测试一下批量数据(batching data)的union:scala> Seq("1","2","3","4").toDS.union(Seq("a","b","c","d").toDS).show +-----+ |value| +-----+ | 1| | 2| | 3| | 4| | a|...
阅读(51) 评论(0)

进一步理解DataFrame, Dataset, RDD

Dataset类似于RDD+schema 如下代码创建一个Dataset:scala> import spark.implicits._ import spark.implicits._scala> val ds = Seq(("bluejoe", 100), ("alex", 200)).toDS ds: org.apache.spark.sql.Dataset[(String, Int)] =...
阅读(117) 评论(0)

kafka开发笔记

最近又要用上kafka,发现原来趟过的坑又趟过了一次 在这里做一下笔记,提醒以后注意: 如果连不上brokers,consumer.poll()会阻塞 同一个topic、同一个group的consumer,会彼此影响,哪怕前面的Test跑完了,后面创建的是新的consumer(这个至关重要) poll的正确使用方式是在死循环里面一直调用它 不同partition取到的records是乱序的...
阅读(55) 评论(0)

spark sql对seq值的包装

spark sql对seq(s1, s2, s3, …)值的包装,seq的每个元素si会被包装成一个Row 如果si为一个简单值,则生成一个只包含一个value列的Row 如果si为一个N-Tuple,则生成一个包含N列的Row特别的,如果N-Tuple是一元组,则视为非元组,即生成一个只包含一个value列的Rowscala> Seq(("bluejoe"),("alex")).toDF()....
阅读(70) 评论(0)

理解scala的元组类型

scala> classOf[(Int,String)] res10: Class[(Int, String)] = class scala.Tuple2scala> classOf[(String,String)] res11: Class[(String, String)] = class scala.Tuple2scala> res10==res11 res12: Boolean = true...
阅读(203) 评论(0)

HTTP 协议中的 Transfer-Encoding

https://imququ.com/post/transfer-encoding-header-in-http.html本文作为我的博客「HTTP 相关」专题新的一篇,主要讨论 HTTP 协议中的 Transfer-Encoding。这个专题我会根据自己的理解,以尽量通俗的讲述,结合代码示例和实际场景来说明问题,欢迎大家关注和留言交流。Transfer-Encoding,是一个 HTTP 头部字...
阅读(119) 评论(0)

HTTP的输出流是假的流?

最近采用HTTP的输出流发数据:val url = new URL(httpPostURL); val httpConn = url.openConnection().asInstanceOf[HttpURLConnection]; httpConn.setRequestMethod("POST"); httpConn.setDoOutput(true); httpConn.setDoInput(t...
阅读(122) 评论(0)

spark structured streaming的source解析与自定义

如下代码:val lines = spark.readStream.format("socket") .option("host", "localhost").option("port", 9999).load();会创建一个socket类型的Source,该name2class的映射由DataSource.lookupDataSource()完成val serviceLoader = Se...
阅读(159) 评论(0)

Spark Streaming 自定义接收器

http://blog.csdn.net/ouyang111222/article/details/50414621Spark Streaming可以从任意数据源接受流数据,而不仅仅是那些内置支持的数据源(如Flume、kafka等)。这就要求开发人员实现一个接收器(recevier),用于接收来自有关数据源的数据。本篇手册以一个自定义的接收器(recevier)实现和其在spark stream...
阅读(86) 评论(0)

Spark2.0: Structured Streaming

启动nc:nc -lk 9999启动spark-shell:val lines = spark.readStream. | format("socket"). | option("host","localhost"). | option("port",9999). | load();lines: org.apache.spark.sql.DataFrame =...
阅读(155) 评论(0)
383条 共20页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:1252250次
    • 积分:12025
    • 等级:
    • 排名:第1261名
    • 原创:167篇
    • 转载:215篇
    • 译文:1篇
    • 评论:1164条
    自我介绍

    中国科学院博士,代码洁癖重度患者,10年以上Java Web架构、开发经验,非单一语言爱好者,熟悉C++/MFC/java/Scala开发技术,著有《标准C++开发入门与编程实践》《把脉VC++》,以及“白乔原创”系列技术文章多篇。

    开源贡献,欢迎star
    https://github.com/bluejoe2008
    邮箱:bluejoe2008@gmail.com
    最新评论