Yashon

linux磁盘挂载

初探ES集群集群健康在Elasticsearch集群中可以监控统计很多信息，但是只有一个是最重要的：集群健康(cluster health)。集群健康有三种状态：green、yellow或red。$ curl '192.168.1.30:9200/_cat/health?v'在一个没有索引的空集群中运行如上查询，将返回这些信息：epoch timestamp cluster

IK简介IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开 始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。在2012版本中，IK

配置详解Cluster集群名称，默认为elasticsearch： cluster.name: elasticsearch设置一个节点的并发数量，有两种情况，一种是在初始复苏过程中： cluster.routing.allocation.node_initial_primaries_recoveries: 4 另一种是在添加、删除节点及调整时： cluster.routing.alloc

环境准备环境说明操作系统：Centos 7JAVA环境：1.8.0_73ES版本：Elasticsearch 2.4 ip 节点名称 角色 192.168.1.30 mysky-es-01 主节点 192.168.1.31 mysky-es-02 工作节点 192.168.1.32 mysky-es-03 节点客户端集群搭建JAVA环境说明略Ela

简介Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 但是，Lucene只是一个库。想要使用它，你必须使用Java来作为开发语言并将其直接集成到你的应用中，但Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。Elasticsearch也使用J

快速体验首先需要先启动canal server，可参见：Canal Server的 canal快速开始运行canal client，可参见：canal client的 ClientExample如何下载如果是maven用户，可配置mvn dependency<dependency> <groupId>com.alibaba.otter</groupId> <artifact

配置说明介绍配置之前，先了解下canal的配置加载方式： canal配置方式有两种：ManagerCanalInstanceGenerator： 基于manager管理的配置方式，目前alibaba内部配置使用这种方式。大家可以实现CanalConfigClient，连接各自的管理系统，即可完成接入。SpringCanalInstanceGenerator：基于本地spring xml的配置方

ClientSample直接使用canal.example工程a. 首先启动Canal Server，可参见Canal快速开始 b. 1. 可以在eclipse里，直接打开com.alibaba.otter.canal.example.SimpleCanalClientTest，直接运行 2. 在工程的example目录下运行命令行：mvn exec:java -Dexec.mainCla

几点说明：(mysql初始化)a. canal的原理是基于mysql binlog技术，所以这里一定需要开启mysql的binlog写入功能，建议配置binlog模式为row. [mysqld]log-bin=mysql-bin #添加这一行就okbinlog-format=ROW #选择row模式server_id=1 #配置mysql replaction需要定义，不能和canal的

Canal简介背景： 早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。 ps. 目前内部版本已经支持mysql和oracle部分版本的日志解

Hadoop2.0.0之前，在一个HDFS集群中，NameNode存在单节点故障（SPOF）：因为集群中只有一个NameNode所以在使用过程中，如果该NameNode出现故障或数据丢失，那么整个集群将瘫痪，故障NameNode节点故障无法恢复，将导致整个集群不能恢复，这也是Hadoop2.0.0之前版本不可靠的表现。

hadoop分布式集群环境搭建

redis 持久化 rdb aof

redis 消息 订阅

Redis 事务；

redis操作命令

redis 编译 安装

环境介绍Hadoop介绍Hadoop基础环境搭建

环境说明：Spark 1.5.2，Maven 3.3.3或以上版本，Java7或以上版本。一、设置Maven内存使用：您需要通过MAVEN_OPTS配置Maven的内存使用量，官方推荐配置如下：export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512M"您不做如上设置，很可能