2017年09月_白乔

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载基于tensorflow + Vgg16进行图像分类识别的实验

转载自 http://blog.csdn.net/sparkexpert/article/details/70208572图像分类识别目前已经得到了很大的飞跃，特别是15年微软提出的resnet已经超越人类，能够对图像中的物体进行更好的识别。为了初步了解一下图像分类识别的过程，学习了一下大牛的主页，发现还是很有意思的。而且从imagenet的角度来说，这个经度还是可以接受的。本实验主要参照了这个网

2017-09-21 13:27:23 7227 2

原创利用Spark mllib识别点阵文本

Step 1准备手写字体，生成图片；总共写了10个字：你、我、他、分、布、式、计、算、框、架，每个写了10遍然后写了5个待识别的字：你、我、好、世、界、框、架图片如下（手机上写的，字丑见谅！） Step 2切割图片（抠图），对齐大小至64*64，输出二值化（0-1）点阵，此处参考了网上的部分代码，java源码如下：import java.awt.Color;import java.awt

2017-09-21 11:09:32 1645 2

原创 spark的几个示例

统计《红楼梦》和《西游记》里面高频字：scala> spark.read.textFile("/Users/bluejoe/testdata/xiyou.txt").map(_.replaceAll("[\\x00-\\xff]|，|。|：|．|“|”|？|！|　", "")).flatMap(_.split("")).groupBy("value").count.sort($&quot

2017-09-20 20:34:39 653 1

转载 Quartz使用总结

转载自http://www.cnblogs.com/drift-ice/p/3817269.htmlQuartz可以用来做什么？Quartz是一个任务调度框架。比如你遇到这样的问题想每月25号，信用卡自动还款想每年4月1日自己给当年暗恋女神发一封匿名贺卡想每隔1小时，备份一下自己的爱情动作片学习笔记到云盘这些问题总结起来就是：在某一个有规律的时间点干某件事。并且时间的触发的条件可以非常复杂（比如

2017-09-18 22:18:08 552 1

原创云盘开发利器elfinder

elFinder 是一个基于 Web 的文件管理器，灵感来自 Mac OS X 的 Finder 程序。elFinder 的安装方法很简单，按照以下几个步骤即可：1. 引入 jQuery 和 jQuery UI 包[html] view plain copyscript src="js/jquery.js" type="text/javascript" charset="utf-8">script

2017-09-15 21:04:54 6311 7

转载将项目发布到Maven中央库

https://my.oschina.net/looly/blog/270767摘要: 前几天参考@黄勇大神的博客http://my.oschina.net/huangyong/blog/226738成功将我的Hutool项目发布到了Maven的中央库，发表这篇博客以做纪念，顺便重新整理步骤并说明一下在发布过程中遇到的一些原博客中没有说明的问题。前几天参考[@黄勇]1 大神的博客 http://

2017-09-15 20:28:37 406 1

原创白乔原创：著名Web文件管理器elfinder的后端服务器

https://github.com/bluejoe2008/elfinder-2.x-servlet elfinder是一款基于Web的文件浏览器前端，但一直缺乏比较好的Java后端代码。本项目集成了elfinder的前端代码，并提供了一个基于Java的后端实现。文件管理器支持文件的浏览、查看、搜索等操作。通过接口设计，开发者可根据具体的情况模拟文件目录。 what's ...

2017-09-11 09:08:02 8732 3

转载大数据框架对比：Hadoop、Storm、Samza、Spark和Flink

http://www.infoq.com/cn/articles/hadoop-storm-samza-spark-flink/简介大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。在之前的文章中，我们曾经介绍过有关大数据系统的常规概念、

2017-09-06 21:54:32 402 1

转载深入理解Apache Flink核心技术

2017-09-06 20:57:43 676 1

转载 Flink架构、原理与部署测试

http://blog.csdn.net/jdoouddm7i/article/details/62039337Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的SLA（Service-Level-Aggreemen

2017-09-06 20:51:27 603 1

转载 Apache Flink vs Apache Spark

https://www.iteblog.com/archives/1624.html我们是否还需要另外一个新的数据处理引擎？当我第一次听到Flink的时候这是我是非常怀疑的。在大数据领域，现在已经不缺少数据处理框架了，但是没有一个框架能够完全满足不同的处理需求。自从Apache Spark出现后，貌似已经成为当今把大部分的问题解决得最好的框架了，所以我对另外一款解决类似问题的框架持有很强烈的怀疑态

2017-09-06 20:45:27 2623 2

原创 spark数据流的合并与分支

spark数据流（data flow）的合并可以通过union来实现。先测试一下批量数据（batching data）的union：scala> Seq("1","2","3","4").toDS.union(Seq("a","b","c","d").toDS).show+-----+|value|+-----+| 1|| 2|| 3|| 4|| a|

2017-09-06 16:27:51 2822 1

原创进一步理解DataFrame, Dataset, RDD

Dataset类似于RDD+schema 如下代码创建一个Dataset：scala> import spark.implicits._import spark.implicits._scala> val ds = Seq(("bluejoe", 100), ("alex", 200)).toDSds: org.apache.spark.sql.Dataset[(String, Int)] =

2017-09-04 20:35:00 4760 1

pdsh-2.26源文件

pdsh的全称是parallel distributed shell，与pssh类似，pdsh可并行执行对远程目标主机的操作，在有批量执行命令或分发任务的运维需求时，使用这个命令可达到事半功倍的效果。同时，pdsh还支持交互模式，当要执行的命令不确定时，可直接进入pdsh命令行，非常方便。

2017-02-06

oauth2的示例工程源代码spring-security-oauth-samples（含war包）

oauth2的示例工程源代码，含build好的war包来源于github，但build会很耗时间直接取出2个target目录下的war文件改名为tonr2.war和sparklr2.war 置于webapps下启动tomcat后，访问http://localhost:8080/tonr2 即可体验演示工程

2016-02-15

java反编译器的GUI版本：jd-gui

很好的java反编译器，忘掉eclipse插件吧：）本人的eclipse无论安装哪种java反编译器，总是失败~~~ 绝望中找到jd-gui jd-gui可以关联上eclipse中的.class文件并自动在左侧的目录视图中打开class文件所在的目录同时支持各个class之间的跳转 http://jd.benow.ca/

2015-02-25