白乔专栏

资深感性程序员,大数据爱好者,中国科学院博士

基于tensorflow + Vgg16进行图像分类识别的实验

转载自 http://blog.csdn.net/sparkexpert/article/details/70208572图像分类识别目前已经得到了很大的飞跃,特别是15年微软提出的resnet已经超越人类,能够对图像中的物体进行更好的识别。为了初步了解一下图像分类识别的过程,学习了一下大牛的主页...

2017-09-21 13:27:23

阅读数:1527

评论数:2

利用Spark mllib识别点阵文本

Step 1准备手写字体,生成图片; 总共写了10个字:你、我、他、分、布、式、计、算、框、架,每个写了10遍 然后写了5个待识别的字:你、我、好、世、界、框、架图片如下(手机上写的,字丑见谅!) Step 2切割图片(抠图),对齐大小至64*64,输出二值化(0-1)点阵,此处参考了网上的...

2017-09-21 11:09:32

阅读数:663

评论数:2

spark的几个示例

统计《红楼梦》和《西游记》里面高频字: scala> spark.read.textFile("/Users/bluejoe/testdata/xiyou.txt").map(_.replaceAll("[\\x00...

2017-09-20 20:34:39

阅读数:378

评论数:1

Quartz使用总结

转载自http://www.cnblogs.com/drift-ice/p/3817269.htmlQuartz可以用来做什么?Quartz是一个任务调度框架。比如你遇到这样的问题想每月25号,信用卡自动还款想每年4月1日自己给当年暗恋女神发一封匿名贺卡想每隔1小时,备份一下自己的爱情动作片 学习...

2017-09-18 22:18:08

阅读数:369

评论数:1

云盘开发利器elfinder

elFinder 是一个基于 Web 的文件管理器,灵感来自 Mac OS X 的 Finder 程序。elFinder 的安装方法很简单,按照以下几个步骤即可:1. 引入 jQuery 和 jQuery UI 包[html] view plain copyscript src="js/...

2017-09-15 21:04:54

阅读数:2749

评论数:4

将项目发布到Maven中央库

https://my.oschina.net/looly/blog/270767摘要: 前几天参考@黄勇 大神的博客http://my.oschina.net/huangyong/blog/226738成功将我的Hutool项目发布到了Maven的中央库,发表这篇博客以做纪念,顺便重新整理步骤并说...

2017-09-15 20:28:37

阅读数:238

评论数:1

白乔原创:著名Web文件管理器elfinder的后端服务器

https://github.com/bluejoe2008/elfinder-2.x-servlet   elfinder是一款基于Web的文件浏览器前端,但一直缺乏比较好的Java后端代码。 本项目集成了elfinder的前端代码,并提供了一个基于Java的后端实现。 文件管理器支持文...

2017-09-11 09:08:02

阅读数:4242

评论数:2

大数据框架对比:Hadoop、Storm、Samza、Spark和Flink

http://www.infoq.com/cn/articles/hadoop-storm-samza-spark-flink/简介大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性...

2017-09-06 21:54:32

阅读数:222

评论数:1

深入理解Apache Flink核心技术

作者:李呈祥 作者简介:Intel BigData Team软件工程师,主要关注大数据计算框架与SQL引擎的性能优化,Apache Hive Committer,Apache Flink Contributor。 责任编辑:仲浩(zhonghao@csdn.net) 文章来源:《程序员》2月期 版...

2017-09-06 20:57:43

阅读数:294

评论数:1

Flink架构、原理与部署测试

http://blog.csdn.net/jdoouddm7i/article/details/62039337Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案,会把流处理...

2017-09-06 20:51:27

阅读数:360

评论数:1

Apache Flink vs Apache Spark

https://www.iteblog.com/archives/1624.html我们是否还需要另外一个新的数据处理引擎?当我第一次听到Flink的时候这是我是非常怀疑的。在大数据领域,现在已经不缺少数据处理框架了,但是没有一个框架能够完全满足不同的处理需求。自从Apache Spark出现后,...

2017-09-06 20:45:27

阅读数:930

评论数:1

spark数据流的合并与分支

spark数据流(data flow)的合并可以通过union来实现。先测试一下批量数据(batching data)的union:scala> Seq("1","2","3","4").toDS.union(S...

2017-09-06 16:27:51

阅读数:536

评论数:1

进一步理解DataFrame, Dataset, RDD

Dataset类似于RDD+schema 如下代码创建一个Dataset:scala> import spark.implicits._ import spark.implicits._scala> val ds = Seq(("bluejoe", 100), (...

2017-09-04 20:35:00

阅读数:2176

评论数:1

提示
确定要删除当前文章?
取消 删除