2016年02月_艾文教编程

10月 09月 08月 07月 05月 02月 01月

原创 016-Storm借助tick消息定时器统计统计周期性业务

在实际业务中，经常需要定时做一些业务逻辑，如每1分钟做一些统计数值。普通业务做法是启动一个Timer线程或者使用Quartz来做定时触发。在Storm中，可以通过让Topology的系统组件定时发送tick消息，Bolt接收到消息后，触发相应的逻辑来完成使用方法分。使用Storm组件的定时器需要为bolt重写下面的方法：public Map getComponentConfigur

2016-02-23 00:41:15 4843 2

原创 9.在Tachyon上运行Spark

9.1 Spark与Tachyon兼容性如何你计划在Tachyon上运行Spark，请参考下面Spark和Tachyon之间版本兼容性列表。Spark Version Tachyon Version1.0.x and Below v0.4.11.1.x v0.5.01.2.x v0.5.01.3.x v0.5.01.4.x v0

2016-02-18 13:36:21 713

原创 8.在Tachyon运行MapReduce

1.1 使用HDFS做UFS首先要让hadoop正常识别tachyon文件系统，需要做如下工作：1）编辑conf/core-site.xml文件，添加如下内容fs.tachyon.impltachyon.hadoop.TFS 2）向lib目录放入对应的依赖包（在tachyon-0.5.0/client/target目录下找），名称为tachyon-client-0

2016-02-18 13:35:24 744

原创 7.Tachyon命令行使用

Tachyon的命令行接口可以让用户通过命令访问FileSystem。Tachyon基本命令format [-s] 格式化Tachyonbootstrap-conf Generate a config file if one doesn't existtfs Comma

2016-02-18 13:34:12 757

原创 6.Tachyon文件存储以及读写过程

1.1 Tachyon文件存储方式为了高效地对文件进行管理，Tachyon文件在内存中按块（Block）组织。文件和块信息保存在Master端，每个Worker以块为单位进行存储和管理，一个块可以同时被缓存在不同Worker的内存中。在UFS中，以文件形式对Tachyon文件进行备份。1.2 Tachyon读写过程由于Tachyon文件存储位置的多样性（内存，UFS），Ta

2016-02-18 13:32:24 971

原创 5.Tachyon参数配置

1.1 基本配置属性名默认值含义tachyon.home"/mnt/tachyon_default_home"Tachyon的安装目录tachyon.underfs.address$tachyon.home + "/underfs"底层文件系统目录

2016-02-18 13:29:44 760

原创 4. Tachyon安装-Tachyon集群模式搭建

tachyon默认支持hadoop-1.0.4版本，如果需要使用更高版本需要重新编译打包。如果使用maven打包，命令如下：mvnclean package -Djava.version=1.7 -Dhadoop.version=2.6.0 -DskipTests 本文采用默认版本进行安装，步骤如下： 1.1.1 Hadoop-1.0.4安装注意：需要实现做好免

2016-02-18 13:25:23 963

原创 4. Tachyon安装-Tachyon本地模式搭建

1) 下载$ wget ./downloads/tachyon-0.5.0-bin.tar.gz$ tar xvfz tachyon-0.5.0-bin.tar.gz$ cd tachyon-0.5.02) 配置$ cp conf/tachyon-env.sh.template conf/tachyon-env.shvi tachyon-env.sh 并

2016-02-18 13:23:45 631

原创 3.Tachyon系统架构

1.1 Tachyon的整体架构Tachyon整体架构采用Master-Worker模式，运行中的Tachyon系统由一个Master和多个Worker构成。Tachyon Master支持Zookeeper进行容错。 Tachyon有三个主要的组件：Master，Client，Worker。 1) Master节点：主要职责是保存并维护文件系统的元数据信息

2016-02-18 13:16:53 590

原创 2.Tachyon实现原理

Tachyon的实现原理，我们可以关注四点：1) Tachyon在内存中只保存一份数据2) 将Spark的容错lineage思想引入存储层3) 通过依赖关系重算进行容4) 用了Linux文件系统Ramfs做存储 Ramfs是什么？Linux有一种基于RAM做存储的文件系统，叫做Ramfs。它是基于与Linux文件系统缓存

2016-02-18 13:12:33 668

原创 1.Tachyon简介

Tachyon是以内存为中心的分布式文件系统，能够为集群计算框架（如：Spark，MapReduce等）提供内存级速度的跨集群文件共享服务。 1.1 Tachyon特征1) Tachyon‘s的原生API类似JAVA的文件API2) 兼容性：Tachyon实现了HDFS接口。故MapReduce和Spark无需任何修改可以运行在Tachyon上。3)

2016-02-18 13:11:23 709

原创 HBase-8.phoenix介绍

1、phoenix是什么？Apache Phoenix 是运行在Hbase之上的高性能关系型数据库，通过Phoenix可以像使用jdbc访问关系型数据库一样访问hbase。Phoenix，操作的表以及数据存储在hbase上。phoenix只需要和hbase进行表关联。然后在用工具进行一些读写操作。可以把Phoenix 只看成一种代替Hbase语法的工具。虽然Java可以

2016-02-12 10:18:18 4085

pytorch-flask-api.zip

本章节中，我们将使用Flask 部署一个Pytorch模型，并未模型预测提供一个REST API 接口。下面，我们部署一个预训练好的模型DenseNet 121，该模型用于检测图片

2019-08-26

word2vec-sentiments-IMDB-Data.zip

词向量在NLP被广泛应用，通过引入Doc2Vec，不仅可以对单个词进行词向量表示，而且可以对整个句子或文章进行表示。想象一下，能够使用固定长度的向量表示整个句子，然后我们可以使用标准的分类算法去分类。是一件很神奇的事情。本章以Word2Vec 为基础，使用Doc2Vec 来做些情感分析的任务问题。 IMDB预料进行分类（积极or消极），可以提供的数据集

2019-07-26

tachyon 介绍

Tachyon是以内存为中心的分布式文件系统，能够为集群计算框架（如：Spark，MapReduce等）提供内存级速度的跨集群文件共享服务。本文档让你快速入门

2016-02-18

CDH的安装和使用

开源的hadoop生态圈的安装和维护很难，通过cloudera公司的cdh来管理，但是对于CDH的安装对于初学者总会存在一定的困难，本文档详细介绍CDH的离线安装和使用

2015-12-08

solr搜索引擎-课程文件培训

本文档包括以下内容，通过下载该内容可以让你掌握solr学习的入门和适应基本开发。 1.学员操作手册-Solr搜索自动补全 2.solr实训教程.doc 3.积分商城基于Solr的搜索引擎优化.pdf 4.基于Solr的搜索引擎优化讲义.pdf 5.课程大纲-基于搜索引擎培训.doc 6.学员操作手册-Solr数据库插入索引.doc 7.学员操作手册-部署solr服务.doc

2014-02-20

Apache Solr 是一个开源的搜索服务器，Solr 使用 Java 语言开发，主要基于 HTTP 和 Apache Lucene 实现. Solr 运行在Java的Servlet容器上，诸如： Tomcat or Jetty。 Solr 是一个免费的开源搜索引擎免费软件。 Solr 是一个基于Lucence的开源项目，可以通过下面网址下载。 http://lucene.apache.org/solr/ http://archive.apache.org/dist/lucene/solr/

2013-11-19