2015年10月_艾文教编程

12月 11月 10月 09月 06月 04月 02月 01月

原创 ES008-Elasticsearch+hbase整合

1:设计索引库的settings信息的mappings信息，并把这些配置信息保存到一个配置文件中。1.1 vi articles.json{ "settings":{ "number_of_shards":3, "number_of_replicas":1 }, "mappings":{ "article

2015-10-13 10:36:51 9624 2

原创 ES007-Elasticsearch中文分词集成

1、elasticsearch官方只提供smartcn这个中文分词插件，效果不是很好2、引入分词器前命令行下测试curl 'http://localhost:9200/jf/_analyze?pretty=true' -d '{"text":"京东商城"}'现象是按照每个单词进行要给分词3、集成IK分词工具3.1：下载es的IK插件https://githu

2015-10-13 10:32:36 1466

原创 ES006-Elasticsearch-JAVA客户端

添加maven依赖 org.elasticsearch elasticsearch 1.4.4 1、连接到es集群1.1 通过启动内嵌集群节点1.2 如果只想做单元测试，不想把节点加入集群，就要启动一个本地的es。它需要把节点的local参数设置为trueNode node = NodeBuilder.nodeBuilder().local

2015-10-13 10:30:01 3757 1

原创 ES005-Elasticsearch核心概念

1、cluster***1.1 代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。1.2 主节点的职责是负责管理集群状态，包括管理分片的状态和副本的状态，以

2015-10-13 10:27:12 974

原创 ES004-Elasticsearch插件的介绍

1、站点插件1.1 BigDesk Plugin (作者 Lukáš Vlček) 简介：监控es状态的插件，推荐！1.2 Elasticsearch Head Plugin (作者 Ben Birch)简介：很方便对es进行各种操作的客户端。1.3 Paramedic Plugin (作者 Karel Minařík)简介：es监控插件1.4

2015-10-13 10:25:49 1478

原创 ES003-CURL使用

1、CURL简介简单认为是可以在命令行下访问url的一个工具，curl是利用URL语法在命令行方式下工作的开源文件传输工具，使用curl可以简单实现常见的get/post请求。curl 后面跟的参数： -x 指定http请求的方法 HEAD GET POST PUT DELETE -d 指定要传输的数据2、CURL创建

2015-10-13 10:24:25 1035

原创 ES002-Elasticsearch环境安装

1、Elasticsearch安装java版本要求：最低1.7下载地址： https://www.elastic.co/downloads/past-releases/1-4-4启动 cd /usr/local/elasticsearch-1.4.4 ./bin/elasticsearch bin/elasticsearch -d

2015-10-13 10:23:24 1116

原创 ES001-Elasticsearch入门

1、ES是什么？Elasticsearch是基于Lucence实时分布式搜索和分析引擎。在云计算中，可达到实时搜索。基于RESTful接口。例如：普通请求是...get?a=1rest请求....get/a/1Elasticsearch的用户GitHub，Wikipedia，ebay2、ES VS SOLR2.

2015-10-13 10:22:02 4670

原创 020Java操作redis集群

redis3.0 集群搭建完成后，JAVA代码是如何操作Redis集群的呢？下面我们通过JAVA代码演示如何操作Redis集群package redis;import java.util.HashSet;import java.util.Set;import redis.clients.jedis.HostAndPort;import redis.clients.jedis.Jed

2015-10-13 10:13:45 2754

原创 019redis3.0集群删除节点

1：如果删除的节点是主节点，这里我们删除192.168.2.20:7006节点，这个节点有1000个哈希槽首先要把节点中的哈希槽转移到其他节点中，执行下面的命令cd /usr/local/redis3.0/src./redis-trib.rb reshard 192.168.2.20:7000系统会提示我们要移动多少哈希槽，这里移动1000个

2015-10-13 10:11:39 633

原创 018redis3.0集群添加节点

1：首先把需要添加的节点启动cd /usr/local/cluster/mkdir 7006cp /usr/local/cluster/redis.conf /usr/local/cluster/7006/cd /usr/local/cluster/7006/vi redis.conf##修改redis.conf中的port参数的值为7006redis

2015-10-13 10:10:25 622

原创 017redis3.0集群部署

要让集群正常工作至少需要 3个主节点，在这里我们要创建 6个redis 节点，其中三个为主节点，三个为从节点，对应的 redis节点的ip 和端口对应关系如下192.168.2.20:7000192.168.2.20:7001192.168.2.20:7002192.168.2.20:7003192.168.2.20:7004192.168.2.20:7

2015-10-13 10:06:12 589

原创 016redis3.0集群简介

一、基本概念1、redis集群是一个可以在多个节点之间进行数据共享的设施。redis集群提供了以下两个好处1.1 将数据自动切分(split)到多个节点1.2 当集群中的某一个节点故障时，redis还可以继续处理客户端的请求。2、一个 Redis 集群包含 16384 个哈希槽（hash slot），数据库中的每个数据都属于这16384个哈希槽中的一个。集群使用公式 CRC

2015-10-13 10:02:54 521

原创 015redis主从复制

1、redis的复制功能是支持多个数据库之间的数据同步。一类是主数据库（master）一类是从数据库（slave），主数据库可以进行读写操作，当发生写操作的时候自动将数据同步到从数据库，而从数据库一般是只读的，并接收主数据库同步过来的数据，一个主数据库可以有多个从数据库，而一个从数据库只能有一个主数据库。2、修改配置文件redis.conf，只修改从数据库slaveof ip

2015-10-13 09:59:10 410

原创 014redis的优化&redis工具的使用

一、redis优化1、精简键名和键值键名：尽量精简，但是也不能单纯为了节约空间而使用不易理解的键名。键值：对于键值的数量固定的话可以使用0和1这样的数字来表示，（例如：male/female、right/wrong）2、当业务场景不需要数据持久化时，关闭所有的持久化方式可以获得最佳的性能内部编码优化（了解）redis为每种数据类型都提供了两种内部编码方式，在不同的情

2015-10-13 09:56:02 500

原创 013redis持久化

redis支持两种方式的持久化，可以单独使用或者结合起来使用。第一种：RDB方式（redis默认的持久化方式）第二种：AOF方式

2015-10-13 09:53:26 447

原创 012redis管道(pipeline)

使用redis管道(pipeline)模式提高数据的插入速度

2015-10-13 09:52:00 898

原创 011 redis的“发布/订阅”模式&redis的排队

一、redis的发布/订阅发布：publish 例：publish channel message订阅：subscribe 例：subscribe channel [.....]取消订阅：unsubscribe 例：unsubscribe [channel]按照规则订阅：psubscribe 例：psubscribe ch

2015-10-13 09:50:22 1434

原创 010redis中数据的排序（sort）

redis中的sort命令可以对list，set，sorted sest 集合中的元素进行排序

2015-10-12 18:04:25 1213

原创 009redis的事务（transaction）

redis的事务（transaction）基本概念以及原理介绍

2015-10-12 18:03:24 623 1

原创 008redis中键的生存时间（expire）

redis中键的生存时间在大型网站的应用：限时的优惠活动、网站数据缓存、限制网站访客访问频率

2015-10-12 18:01:44 6206

原创 008Java操作redis

本章节主要介绍redis三种方式访问redis：单机单连接方式、单机连接池方式、多机分布式+连接池方式

2015-10-12 17:59:31 605

原创 007redis的hash类型

hash类型主要包括以下内容：hset/hget/hmset/hmget/hgetall(hsetnx)hexists,判断键中的属性是否存在hincrby(hash类型没有hincr命令)hdelhkeys/hvalshlen(获取键中包含多少个字段)

2015-10-12 17:57:35 513

原创 006redis的string类型

介绍redis的string类型： set/setnx命令格式、mset/mget命令格式、incr/decr/incrby/decrby/incrbyfloat命令格式、append命令格式、strlen命令格式

2015-10-12 17:56:28 390

原创 005redis的数据类型

介绍redis的基本类型： string类型、hash类型、list类型、set类型、sorted set类型的使用

2015-10-12 17:55:06 451

原创 004redis的基本命令+help的用法

本章节主要介绍redis的命令： keys命令、exists 命令、del 命令、help命令的使用

2015-10-12 17:54:01 2681

原创 002redis安装部署（单机）

本章节重点介绍redis的单机安装以及redis的 redis-cli 命令使用、Redisclient 包下载

2015-10-12 17:50:42 505

原创 001redis简介

本章节主要介绍redis基本概念、redis的特点、redis应用场景

2015-10-12 17:47:09 545

原创 006 用户行为PV&UV统计数据

mapreduce离线分析加强日志后，然后通过hive或者impala分析数据。本章节主要分析pv和uv数据，利用hive整合hbase，通过hive分析hbase中的数据

2015-10-12 17:33:16 12114 2

原创 Impala006-impala 数据处理&impala 和 HBase整合&JDBC方式访问Impala

impala 数据处理、impala 和 HBase整合、JDBC方式访问Impala

2015-10-12 16:19:21 1547

原创 Impala005-Impala SQL操作内部表和外部表

Impala操作外部表和内部表。一些基本操作同Hive的命令一样

2015-10-12 16:15:46 7160

原创 Impala004-Impala管理

重点介绍Impala的监控、Impala存储和分区、 Impala分区维护

2015-10-12 16:14:34 918

原创 Impala003-Impala shell

本章节重点介绍Impala的一些常用的命令，主要是如果Impala如果替代Hive左统计分析

2015-10-12 16:02:17 2930

原创 Impala002-Impala架构

重点介绍Impala的架构中涉及的角色Impala StateStore、Impala Catalog Server、Impala Daemon

2015-10-12 15:59:57 800

Impala 是Cloudera公司主导开发并开源。基于Hive内存计算，兼顾数据仓库，具有实时性、批处理、多并发等优点。是使用CDH的首选PB级大数据实时查询分析引擎Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。Impala还提供了一个熟悉的面向批量或实时查询和统一平台

2015-10-12 15:56:09 742

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

pytorch-flask-api.zip

word2vec-sentiments-IMDB-Data.zip

tachyon 介绍

CDH的安装和使用

solr搜索引擎-课程文件培训

solr企业级搜索引擎准备阶段

UML工具培训

solr搜索自动补全

Solr数据库插入(全量和增量)索引

积分商城基于Solr搜索引擎PPT

UML视图的名称

空空如也