实时计算服务系列
本专栏介绍实时计算服务,内容主要包括实时计算服务的基础介绍、环境搭建一件简单的案例展示,希望大家可以互相交流、互相学习。
象在舞
谁说大象不能跳舞!
展开
-
DL4J模型训练Word2Vec
目前深度学习已经越来越受到重视,深度学习的框架也是层出不穷,例如谷歌的TensorFlow,它是基于Python进行开发的,对于许多对Python不够了解的程序员来说用起来可能没有那么的方便,这里说一下一个基于Java的深度学习框架——DL4J。本博客主要介绍在代码层面基于DL4J模型实现训练Word2Vec,一起来看一下吧~【代码】package com.xzw.dl4j;im...原创 2018-04-30 19:46:24 · 2009 阅读 · 3 评论 -
用Java语言实现余弦定理和修正余弦
在NLP自然语言处理中,常常会有推荐相关的算法,这就免不了相关的距离计算公式计算两个向量之间的举例。这里用Java语言实现余弦定理和修正余弦,直接上代码~【余弦定理】package com.xzw.cos;import java.util.Map;import java.util.Map.Entry;/** * 相似度计算,余弦定理Java实现 * @author xz...原创 2018-04-17 19:49:58 · 1503 阅读 · 0 评论 -
NLP中常用的分词器
众所周知,NLP即自然语言处理,那么在NLP中常用的分词器都有哪些呢?本文主要介绍NLP中常用的分词器。一、Mmseg4j:基于正向最大匹配(https://code.google.com/p/mmseg4j/) mmseg4j用Chih-HaoTsai的MMSeg算法实现的中文分词器,并实现lucene的analyzer和solr的TokenizerFactory以方便在...原创 2018-04-17 19:34:08 · 1918 阅读 · 0 评论 -
本地缓存GuavaCache的介绍及使用
一、GuavaCache的介绍GuavaCache是一个本地缓存,有以下优点:1)很好的封装了get、put操作,能够集成数据源。一般我们在业务中操作缓存都会操作缓存和数据源两部分。例如:put数据时,先插入DB再删除原来的缓存,get数据时,先查缓存,命中则返回,没有命中时需要查询DB,再把查询结果放入缓存中。Guava封装了这么多步骤,只需要调用一次get/put方法即可。2)它是线程安全的缓...原创 2018-03-31 11:19:32 · 8966 阅读 · 0 评论 -
网络缓存Redis的介绍及使用
一、Redis介绍 Redis是一个开源的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构,例如:字符串、列表、集合等。Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。它支持数据的备份,即master-slave模式的数据备份。二、Redis使用Redis的使用分为Linux下的使用的Windows下的使用...原创 2018-03-31 11:11:15 · 314 阅读 · 0 评论 -
任务拆分独立计算--ForkJoin
任务拆分独立计算笼统的来讲就是一个大任务被分成若干个小任务,并行计算之后再将结果合并的过程。主要有MapReduce、ForkJoin等。 MapReduce与ForkJoin的相似点:1.他们都是用于执行并行任务的;2.他们的基本思想都是把问题分解为一个个彼此独立的或可分解的子问题分别进行计算,再合并结果。 MapReduce与ForkJoin的不同点:1.Map...原创 2018-03-17 13:21:59 · 1965 阅读 · 0 评论 -
JDK自带的Timer实现任务调度
JDK自带的timer使用的时候会在主线程之外起一个单独的线程执行指定的计划任务,可以执行一次或反复执行多次。本篇文章主要从代码层面讲解如何用JDK自带的Timer实现一个简单的任务调度。直接上代码~一、测试代码package com.xzw.timer;import java.time.LocalDateTime;import java.time.format.DateTime...原创 2018-03-16 20:39:06 · 321 阅读 · 0 评论 -
Quartz实现任务调度
Quartz是java开源的一个定时任务的工具,它本身不仅可以实现固定时间的定时任务计算还可以实现类似Crontab的指定时间点间隔的定时任务计算。这篇文章以代码为主讲述了如何实现Quartz的任务调度。废话不多说,直接上代码~一、pom.xml文件的配置<!-- https://mvnrepository.com/artifact/org.quartz-scheduler/q...原创 2018-03-16 20:30:06 · 326 阅读 · 0 评论 -
基于zkdash下Zookeeper完成CRUD及监听
本文主要介绍在zkdash下实现zookeeper的CRUD及监听。一、环境准备(1)完全分布式环境,搭建过程可以参考我的另外一篇博客《Hadoop完全分布式的搭建》(2)安装Zookeeper,安装过程可以参考我的另外一篇博客《完全分布式下安装Zookeeper》(3)安装MySQL,安装过程可以参考我的另外一篇博客《Linux下安装MySQL》(4)安装zkdash,安装过程可以参...原创 2018-03-11 21:46:24 · 523 阅读 · 0 评论 -
Hadoop环境下安装zkdash
zkdash是web端管理zookeeper的工具,使用起来非常方便,这篇博客主要介绍如何在Hadoop环境下安装zkdash。一、安装Python2.7.x(x>6) 这里可以参考我的另外一篇博客《Linux下安装Python》。值得注意的是,Python3.6.3自带setuptools和pip,但是Python2.7.x没有自带的setuptools和pip,需要...原创 2018-03-11 21:28:38 · 443 阅读 · 0 评论 -
Linux下安装MySQL
这篇文章主要讲解Linux下如何安装MySQL。一、首先卸载自带的MySQL数据库查询:# rpm -qa | grep mysql卸载:# rpm -e mysql-libs-5.1.71-1.el6.x86_64 --nodeps这里我已经卸载了。二、通过yum安装MySQL# yum install -y mysql-server mysql mysql-devel三、启动MySQL...原创 2018-03-11 20:56:18 · 322 阅读 · 0 评论 -
完全分布式下安装Zookeeper
本文主要讲述如何在完全分布式的环境下搭建Zookeeper,至于如何搭建Hadoop完全分布式环境,大家可以参考我的另外一篇文章《Hadoop完全分布式环境的搭建》一、上传解压Zookeeper二、配置conf下的zoo.cfg文件三、创建zkData目录,在zkData目录目录下创建myid文件,编辑myid,内同就是此台server的id,就是zoo.cfg中指定的server.1...原创 2018-03-11 20:42:16 · 356 阅读 · 0 评论 -
Hadoop完全分布式的搭建
搭建完全分布式的环境是研究大数据技术必不可少的要求。这里,小编将一步步的教大家搭建如何进行Hadoop完全分布式的环境搭建,以三台机器为例。废话不多说直接进入配置模式~一、系统和软件CentOS6.5,hadoop2.5.0,jdk1.8.0_161二、基本环境准备检查主机名:$ cat /etc/sysconfig/network检查IP和DNS:$ cat/etc/sysconfi...原创 2018-03-11 20:21:31 · 387 阅读 · 0 评论 -
使用Spring Boot快速开发模式开发简单的服务API
一、从start.spring.io下载相应的.zip文件。二、解压.zip文件并将相应内容导入到eclipse或myeclipse中,pom.xml文件如下。<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schema...原创 2018-03-08 17:43:54 · 2774 阅读 · 2 评论 -
Linux下使用thrift完成RPC服务
本文主要讲解如何使用thrift完成RPC服务,Windows下和Linux下均已实现,有相关的Java代码。废话不多说,直接开始~一、thrift的安装参考官方文档:thrift在CentOS下的安装安装到“Build and Install the Apache Thrift IDL Compiler”时,直接上传thrift的tar包,解压。此时先不要安装thrift。安装thr...原创 2018-03-07 11:10:05 · 2718 阅读 · 5 评论