virtuoso 安装与使用

http://www.flykun.com/virtuoso%E5%AE%89%E8%A3%85-ubuntu%E7%8E%AF%E5%A2%83/http://www.flykun.com/%E4%B8%8A%E4%BC%A0rdf%E6%96%87%E4%BB%B6%E5%88%B0virtuoso%EF%BC%8C%E5%B9%B6%E9%80%9A%E8%BF%87sparql%E6%9F...
阅读(82) 评论(0)

./configure,make,make install的作用

http://www.linuxidc.com/Linux/2011-02/32211.htm这些都是典型的使用GNU的AUTOCONF和AUTOMAKE产生的程序的安装步骤。./configure是用来检测你的安装平台的目标特征的。比如它会检测你是不是有CC或GCC,并不是需要CC或GCC,它是个shell脚本。make是用来编译的,它从Makefile中读取指令,然后编译。make insta...
阅读(40) 评论(0)

发布Maven构件到中央仓库

https://my.oschina.net/songxinqiang/blog/313226使用maven有一段时间了,不管你同意与否,我都坚决认定maven是很伟大的软件项目,使用它,可以节约很多时间,特别是和git搭配使用的时候,简直就是绝了,就像川菜的花椒和海椒的搭配一样,无与伦比,用过之后肯定会爱上它的。在我的以前的博客里面有关于怎样使用git(eclipse里面的egit插件)管理项目...
阅读(86) 评论(1)

基于tensorflow + Vgg16进行图像分类识别的实验

转载自 http://blog.csdn.net/sparkexpert/article/details/70208572图像分类识别目前已经得到了很大的飞跃,特别是15年微软提出的resnet已经超越人类,能够对图像中的物体进行更好的识别。为了初步了解一下图像分类识别的过程,学习了一下大牛的主页,发现还是很有意思的。而且从imagenet的角度来说,这个经度还是可以接受的。本实验主要参照了这个网...
阅读(212) 评论(1)

利用Spark mllib识别点阵文本

Step 1准备手写字体,生成图片; 总共写了10个字:你、我、他、分、布、式、计、算、框、架,每个写了10遍 然后写了5个待识别的字:你、我、好、世、界、框、架图片如下(手机上写的,字丑见谅!) Step 2切割图片(抠图),对齐大小至64*64,输出二值化(0-1)点阵,此处参考了网上的部分代码,java源码如下:import java.awt.Color; import java.awt...
阅读(188) 评论(1)

spark的几个示例

统计《红楼梦》和《西游记》里面高频字:scala> spark.read.textFile("/Users/bluejoe/testdata/xiyou.txt").map(_.replaceAll("[\\x00-\\xff]| ,|。|:|.|“|”|?|!", "")).flatMap(_.split("")).groupBy("value").count.sort($"count".desc...
阅读(201) 评论(1)

Quartz使用总结

转载自http://www.cnblogs.com/drift-ice/p/3817269.htmlQuartz可以用来做什么?Quartz是一个任务调度框架。比如你遇到这样的问题想每月25号,信用卡自动还款想每年4月1日自己给当年暗恋女神发一封匿名贺卡想每隔1小时,备份一下自己的爱情动作片 学习笔记到云盘这些问题总结起来就是:在某一个有规律的时间点干某件事。并且时间的触发的条件可以非常复杂(比如...
阅读(101) 评论(1)

云盘开发利器elfinder

elFinder 是一个基于 Web 的文件管理器,灵感来自 Mac OS X 的 Finder 程序。elFinder 的安装方法很简单,按照以下几个步骤即可:1. 引入 jQuery 和 jQuery UI 包[html] view plain copyscript src="js/jquery.js" type="text/javascript" charset="utf-8">script...
阅读(278) 评论(2)

将项目发布到Maven中央库

https://my.oschina.net/looly/blog/270767摘要: 前几天参考@黄勇 大神的博客http://my.oschina.net/huangyong/blog/226738成功将我的Hutool项目发布到了Maven的中央库,发表这篇博客以做纪念,顺便重新整理步骤并说明一下在发布过程中遇到的一些原博客中没有说明的问题。前几天参考[@黄勇]1 大神的博客 http://...
阅读(127) 评论(1)

著名Web文件管理器elfinder的java servlet后端,支持自定义

https://github.com/bluejoe2008/elfinder-2.x-servletwhat's elfinder-2.x-servletelfinder-2.x-servlet implements a java servlet for elfinder-2.x connectorelfinder is an Open-source file manager for web,...
阅读(809) 评论(1)

大数据框架对比:Hadoop、Storm、Samza、Spark和Flink

http://www.infoq.com/cn/articles/hadoop-storm-samza-spark-flink/简介大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,以及价值在最近几年才经历了大规模扩展。在之前的文章中,我们曾经介绍过有关大数据系统的常规概念、...
阅读(120) 评论(1)

深入理解Apache Flink核心技术

作者:李呈祥 作者简介:Intel BigData Team软件工程师,主要关注大数据计算框架与SQL引擎的性能优化,Apache Hive Committer,Apache Flink Contributor。 责任编辑:仲浩(zhonghao@csdn.net) 文章来源:《程序员》2月期 版权声明:本文为《程序员》原创文章,未经允许不得转载,订阅2016年《程序员》请点击 http://di...
阅读(138) 评论(1)

Flink架构、原理与部署测试

http://blog.csdn.net/jdoouddm7i/article/details/62039337Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为它们所提供的SLA(Service-Level-Aggreemen...
阅读(102) 评论(1)

Apache Flink vs Apache Spark

https://www.iteblog.com/archives/1624.html我们是否还需要另外一个新的数据处理引擎?当我第一次听到Flink的时候这是我是非常怀疑的。在大数据领域,现在已经不缺少数据处理框架了,但是没有一个框架能够完全满足不同的处理需求。自从Apache Spark出现后,貌似已经成为当今把大部分的问题解决得最好的框架了,所以我对另外一款解决类似问题的框架持有很强烈的怀疑态...
阅读(103) 评论(1)

spark数据流的合并与分支

spark数据流(data flow)的合并可以通过union来实现。先测试一下批量数据(batching data)的union:scala> Seq("1","2","3","4").toDS.union(Seq("a","b","c","d").toDS).show +-----+ |value| +-----+ | 1| | 2| | 3| | 4| | a|...
阅读(126) 评论(1)

进一步理解DataFrame, Dataset, RDD

Dataset类似于RDD+schema 如下代码创建一个Dataset:scala> import spark.implicits._ import spark.implicits._scala> val ds = Seq(("bluejoe", 100), ("alex", 200)).toDS ds: org.apache.spark.sql.Dataset[(String, Int)] =...
阅读(203) 评论(1)

kafka开发笔记

最近又要用上kafka,发现原来趟过的坑又趟过了一次 在这里做一下笔记,提醒以后注意: 如果连不上brokers,consumer.poll()会阻塞 同一个topic、同一个group的consumer,会彼此影响,哪怕前面的Test跑完了,后面创建的是新的consumer(这个至关重要) poll的正确使用方式是在死循环里面一直调用它 不同partition取到的records是乱序的...
阅读(94) 评论(1)

spark sql对seq值的包装

spark sql对seq(s1, s2, s3, …)值的包装,seq的每个元素si会被包装成一个Row 如果si为一个简单值,则生成一个只包含一个value列的Row 如果si为一个N-Tuple,则生成一个包含N列的Row特别的,如果N-Tuple是一元组,则视为非元组,即生成一个只包含一个value列的Rowscala> Seq(("bluejoe"),("alex")).toDF()....
阅读(209) 评论(1)

理解scala的元组类型

scala> classOf[(Int,String)] res10: Class[(Int, String)] = class scala.Tuple2scala> classOf[(String,String)] res11: Class[(String, String)] = class scala.Tuple2scala> res10==res11 res12: Boolean = true...
阅读(249) 评论(1)

HTTP 协议中的 Transfer-Encoding

https://imququ.com/post/transfer-encoding-header-in-http.html本文作为我的博客「HTTP 相关」专题新的一篇,主要讨论 HTTP 协议中的 Transfer-Encoding。这个专题我会根据自己的理解,以尽量通俗的讲述,结合代码示例和实际场景来说明问题,欢迎大家关注和留言交流。Transfer-Encoding,是一个 HTTP 头部字...
阅读(175) 评论(1)
387条 共20页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:1305176次
    • 积分:12521
    • 等级:
    • 排名:第1239名
    • 原创:167篇
    • 转载:219篇
    • 译文:1篇
    • 评论:1188条
    自我介绍

    中国科学院博士,代码洁癖重度患者,10年以上Java Web架构、开发经验,非单一语言爱好者,熟悉C++/MFC/java/Scala开发技术,著有《标准C++开发入门与编程实践》《把脉VC++》,以及“白乔原创”系列技术文章多篇。

    开源贡献,欢迎star
    https://github.com/bluejoe2008
    邮箱:bluejoe2008@gmail.com
    最新评论