Arno的博客

原创 解析elasticsearch的mapping生成Excel数据结构文档

解析elasticsearch的mapping生成Excel数据结构文档重点必看新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入重点必看python写的，看不懂直接运行就成。我会把如何运行也写出来。能看到新的改变我们

转载 Npm命令详解

常用命令npm版本升级查看npm版本npm -v升级npm版本,输入命令会自动进行征集npm install npm -g#如果太慢可以使用淘宝镜像的命令：npm install -g cnpm --registry=https://registry.npm.taobao.org安装模块使用 npm 命令安装模块npm 安装 Node.js 模块语法格式如下：npm install <Module Name>以下实例，我们使用 npm 命令安装常用的 Node.

原创 nodejs详细安装和简单使用

NodeJs安装在这里下载最新版本：https://nodejs.org/en/下载后直接双击安装，这里可以看到他直接帮我们配置了环境变量，不用我们再去配置了，其他直接默认就可以了。开始》运行》cmd 打开命令行窗口运行以下命令（也可以用win+R 输入cmd启动命令行窗口）node -vnpm -v以上就安装成功啦。NodeJs常用命令运行实例1.js 可以直接输出运行结果node 1.js直接编译运行输入node进入交互模式，然后输入代码可以直接运行nodecons

原创 mysql事务详解、隔离极别、脏读、幻读

mysql事务是指将数据库从一种一致性状态转到另一种一致性状态mysql事务具有ACID特性：原子性（Atomicity）：事务中的所有操作，要么全部执行，要么都不执行一致性（Consistency）：事务开始和结束后，数据库的完整性不会被破坏隔离性（Isolation）：事务之间互不影响。事务的隔离级别有四种：读未提交、读已提交、可重复读（默认隔离级别）、串行化持久性（Durabili...

原创 Zookeeper选举过程与ZAB协议

Zookeeper的选举选举机制1. 第一阶段：数据恢复阶段。每台Zookeeper服务器在启动的时候，都会从本地的数据目录中找到自己所拥有的最大事务id。2. 第二阶段：选举阶段。每一个Zookeeper的服务器都会推荐自己当leade并且提交选举协议：自己所拥有的最大事务id - Zxid自己的选举id - myid逻辑时钟值，作用是确保每一台Zookeeper服务器都会处在...

原创 zookeeper详解与单机安装、集群安装

概述是Apache提供的开源的用于进行服务协调和分布式管理的框架Zookeeper原来是Hadoop的子件之一，后来发现Zookeeper不止可以用于Hadoop也可以用于其他分布式环境下的管理，独立出来称为一个单独的项目zookeeper可以解决的分布式问题在分布式环境下，需要确定一个管理节点如果只设置一个管理节点，存在单点故障为了避免管理节点的单点故障，需要设置多个管理节点...

原创 Sqoop 安装与基础命令

一、概述sqoop是Apache 提供的工具，用于hdfs和关系型数据库之间数据的导入和导入可以从hdfs导出数据到关系型数据库，也可以从关系型数据库导入数据到hdfs二、实现步骤：准备sqoop安装包，官网地址：http://sqoop.apache.org配置jdk环境变量和Hadoop的环境变量。因为sqoop在使用是会去找环境变量对应的路径，从而完整工作解压Sqoop的安...

原创 Hive创建自定义函数

一、概述如果hive的内置函数不够用，用户也可以自己定义函数来使用，这样的函数称为hive的用户自定义函数，简称UDFUDF使得Hive的可扩展性增强二、实现步骤：新建java工程，导入hive相关包，导入hive相关的lib创建类继承UDF自己编写一个evaluate方法，返回值和参数任意。 import org.apache.hadoop.hive.ql.exec.UDF...

原创 Hive修改derby为mysql数据库

一、概述hive可以管理hdfs上的文件，用表的形式来管理文件数据。而表名、表里有哪些字段，字段类型、哪张表存在哪个数据下等这些表信息，称之为hive的元数据信息默认情况下，hive的元数据信息不是存在hdfs上的，而是存在hive自带的derby关系型数据库里的Hive安装完成之后，通常都需要替换元数据库，目前Hive只支持derby和mysql两种元数据库，需要将元数据库替换为MySQ...

原创 Hive分区、分桶、类型、函数、运算符指令详解

基础命令详解命令作用额外说明show databases;查看都有哪些数据库create database park;创建park数据库创建的数据库，实际是在Hadoop的HDFS文件系统里创建一个目录节点，统一存在： /user/hive/warehouse 目录下use park;进入park数据库show tables;查看当前数据...

原创 Hive安装与详解

简介一、Hadoop开发存在的问题只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛需要对Hadoop底层原理，api比较了解才能做开发开发调试比较麻烦二、Hive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能底层是将sql语句转换为MapReduce任务进行运行Hive提供了一...

原创 Flume详解与安装实例

Flume介绍1、概述Flume最早是Cloudera提供的日志收集系统，后贡献给ApacheFlume是一个高可用的，高可靠的 、健壮性，分布式的海量日志采集、聚合和传输的系统Flume支持在日志系统中定制各类数据发送方，用于收集数据(source)Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力(sink)。2、版本Flume0.9X：又称Flume-...

原创 Avro远程过程调用和数据序列化

一、概述Avro是一种远程过程调用和数据序列化框架，是在Apache的Hadoop项目之内开发的。它使用JSON来定义数据类型和通讯协议，使用压缩二进制格式来序列化数据。它主要用于Hadoop，它可以为持久化数据提供一种序列化格式，并为Hadoop节点间及从客户端程序到Hadoop服务的通讯提供一种电报格式二、序列化和反序列化数据序列化就是将对象或者数据结构转化成特定的格式，使其可在网络...

原创 Hadoop HDFS详解和常用指令

HDFS：是Hadoop中用于数据的分布式存储的组件根据Google论文《The Google File System》来设计的常用指令指令说明hadoop fs -put向HDFS上传文件hadoop fs -mkdir在HDFS上创建了目录（实际上只是一个路径标记）hadoop fs -get下载hadoop fs -rm删除文件...

原创 Hadoop伪分布式安装

下载地址：http://hadoop.apache.org/releases.html 下载2.X版本Hadoop的安装分为单机方式、伪分布式方式和完全分布式方式单机模式单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不...

原创 Mycat安装与配置详解

需要提前准备两个数据库以便于测试由于github限制，所以以后新版本从以下地址下载去这里下载 http://dl.mycat.io （GitHub的mycat： https://github.com/MyCATApache/Mycat-download）可以看到最新的稳定版是1.6.7.1之后的都是测试和开发版，所以我们下载稳定版的1.6.7.1根据不同这里下载不同的版本（...

原创 linux centos6.5 安装mysql5.7

下载地址： https://dev.mysql.com/downloads/mysql/5.7.html#downloads确认要下载的版本linux 中执行cat /etc/issue 可以查看系统信息cat /proc/version 查看内核uname -a 可以看到系统版本选择下载的mysql版本选择操作系统，因为没有centos的指定系统所以选择red hat选择系统...

原创 CountDownLatch同步工具类、递减锁、闭锁

CountDownLatch 同步工具类、递减锁、闭锁名字有多个。可是实际指的都是CountDownLatch，看一不同名字的解释CountDownLatch 同步工具类： 多用来完成同步的功能，例如有一个任务需要两个工人完成，两个工人现在手头都有工作，并分别先后完成了手头的工作，先完成工作的人需要等待后完成工作的人一起来完成这个任务。CountDownLatch 递减锁： CountDow...

原创 Springboot整合Elasticsearch

前文中我们已经安装好了3台Elasticsearch，所以今天我们直接使用就好1 quickstart 的骨架可以再 start.spring.io 生成一个springboot工程2 pom依赖&amp;lt;project xmlns=&quot;http://maven.apache.org/POM/4.0.0&quot; xmlns:xsi=&quot;http://www.w3.org/2001/XMLSchema...

原创 SpringCloud网关组件Zuul

微服务：独立的工程之间通过框架形成的一个集群的服务调用；这个集群称之为微服务集群；微：集群中的工程（服务器），都是独立运行的项目；功能非常单一微小,例如后台的增删改查可以切分成4个独立运行的微服务工程.springCloud的微服务框架具有很多的功能组件：1 服务治理 eureka 所有工程都可以在eureak中注册自己的服务名称，如果名称一致，将会被eureka作为同一个服务来使用；2 ...

原创 SpringCloud分布式配置中心服务端与客户端

微服务：独立的工程之间通过框架形成的一个集群的服务调用；这个集群称之为微服务集群；微：集群中的工程（服务器），都是独立运行的项目；功能非常单一微小,例如后台的增删改查可以切分成4个独立运行的微服务工程.springCloud的微服务框架具有很多的功能组件：1 服务治理 eureka 所有工程都可以在eureak中注册自己的服务名称，如果名称一致，将会被eureka作为同一个服务来使用；2 ...

原创 SpringCloud熔断器Hystrix

微服务：独立的工程之间通过框架形成的一个集群的服务调用；这个集群称之为微服务集群；微：集群中的工程（服务器），都是独立运行的项目；功能非常单一微小,例如后台的增删改查可以切分成4个独立运行的微服务工程.springCloud的微服务框架具有很多的功能组件：1 服务治理 eureka 所有工程都可以在eureak中注册自己的服务名称，如果名称一致，将会被eureka作为同一个服务来使用；2 ...

原创 SpringCloud接口客户端组件Feign

微服务：独立的工程之间通过框架形成的一个集群的服务调用；这个集群称之为微服务集群；微：集群中的工程（服务器），都是独立运行的项目；功能非常单一微小,例如后台的增删改查可以切分成4个独立运行的微服务工程.springCloud的微服务框架具有很多的功能组件：1 服务治理 eureka 所有工程都可以在eureak中注册自己的服务名称，如果名称一致，将会被eureka作为同一个服务来使用；2 ...

原创 SpringCloud内部服务调用Ribbon组件

微服务：独立的工程之间通过框架形成的一个集群的服务调用；这个集群称之为微服务集群；微：集群中的工程（服务器），都是独立运行的项目；功能非常单一微小,例如后台的增删改查可以切分成4个独立运行的微服务工程.springCloud的微服务框架具有很多的功能组件：1 服务治理 eureka 所有工程都可以在eureak中注册自己的服务名称，如果名称一致，将会被eureka作为同一个服务来使用；2 ...

原创 SpringCloud注册中心eureka搭建与服务注册

微服务：独立的工程之间通过框架形成的一个集群的服务调用；这个集群称之为微服务集群；微：集群中的工程（服务器），都是独立运行的项目；功能非常单一微小,例如后台的增删改查可以切分成4个独立运行的微服务工程.springCloud的微服务框架具有很多的功能组件：1 服务治理 eureka 所有工程都可以在eureak中注册自己的服务名称，如果名称一致，将会被eureka作为同一个服务来使用；2 ...

原创 NGINX负载均衡与本地路径映射

nginx的location匹配规则(优先级)location 匹配规则 匹配的是访问的url在域名和端口号之后的字符串例如 image.taobao.com/upload/2/df/3/d/3/c/e/3/d/3/asdlkfjlsdjf.jpg○ 精确匹配 = 例如=/image○ 字符串前缀匹配^~ 例如^~/image○ 按照配置顺序的正则匹配,配置在上优先级更高~ 例如~.pn...

原创 Elasticsearch配置文件详解与集群调优

一、Cluster代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的. es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任何一个节点的通信和与整个es集群通信是等价的。cluster.name可以确定你的集群名称,当你的elasticsearch集群在同一个...

原创 Elasticsearch集群搭建

集群结构角色: 主节点,数据节点,负载均衡节点1、主节点:保存数据信息(meta data) 元数据;描述数据的数据,客户端通过主节点获取真正的数据位置,到数据节点DataNode获取数据分片;2、数据节点:只负责数据的读和写3、负载均衡节点:当主节点连接的客户端过多,可以引入负载均衡节点;分担并发,既不是主节点,也不是数据节点集群搭建搭建另外两台es的服务器,配置好ik分词器 ，参...

原创 Logstash的安装和Elasticsearch的整合

logstash是常见的ELK组合的成员之一.E:elasticsearchL:logstashK:kibana(比head强大在数据分析)logstash是负责收集数据在给elasticsearch做索引使用，logstash可以收集 数据库、文件等多种数据源的数据。1 上传解压(jdk运行环境)2 运行测试(bin目录下)#logstash -e ‘input{stdin{...

原创 Eslaticsearch整合IKAnalyzer分词器

这里使用的是elasticsearch-analysis-ik-5.5.2.zip的版本安装IK分词器解压,修改文件夹名称/home/resources/elasticsearch-analysis-ik-5.5.2.zipunzip解压后,将解压内容放到elasticsearch根目录的plugins将解压的文件夹名称修改为analysis-ik重启es测试访问http://19...

原创 Elasticsearch和ElasticsearchHead的安装与配置

ES安装(基于java运行环境)1获取安装包云主机和虚拟机的es安装资源 elasticsearch-5.5.2.tar包都在/home/resources2 tar命令解压安装包#tar -xf **.tar包直接解压到当前文件,形成一个文件夹保管es的所有内容3 添加当前主机的普通账户#groupadd es#useradd es -g es -p es解释：root为最高...

原创 Lucene实现分词

1、我使用的jar为IKAnalyzer2012_u6.jar 请自行百度下载，并引用到项目中2、pom.xml 添加引用&amp;lt;dependency&amp;gt; &amp;lt;!-- 查询相关jar包 --&amp;gt; &amp;lt;groupId&amp;gt;org.apache.lucene&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;

原创 Spring Boot 整合RabbitMQ

先创建两个spring boot 的项目，然后在pom中添加依赖，一个用来发送消息一个用来接收发送消息pom.xml 文件中添加依赖&amp;amp;amp;lt;project xmlns=&amp;amp;quot;http://maven.apache.org/POM/4.0.0&amp;amp;quot; xmlns:xsi=&amp;amp;quot;http://www.w3.org/2001/XMLSchema-instance&amp;amp;q

原创 RabbitMQ安装教程

安装erlang的运行环境(虚拟机云主机,可以用erl命令测试是否已经安装)安装erlang语言，需要安装30-50分钟。centOs-empty镜像已经安装好的,erlang不需安装。OTP18,对应老版本erlang安装下载更新包wget http://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm创建一...

原创 RabbitMQ介绍以及五种工作模式

早期出现认证系统类似的提供认证服务;出现了系统间的通信;并发的高需求每个前端系统与认证系统的通信强耦合传递消息,获取返回结果的过程,如果出现网络波动,整个传递数据,计算返回结果的流程重走一遍;需要一种技术,解决通信强耦合;引入消息队列,实现连接的非阻塞监听,就能解决系统间通信强耦合高并发情况下,将请求作为消息发送到队列缓存,由后台系统在空闲时慢慢处理;消息队列解决问题通信解耦...

原创 MySQL主从热备

自己先预先在两台机器上安装mysql。配置主服务器（开启二进制日志文件）编辑主master服务器配置文件/etc/my.cnf在[mysqld]节点下加入两句话server-id=1 #MySQL服务ID唯一的log-bin=mysql-bin #启用二进制日志；重启服务：service mysql restart登录mysql：mysql –uroot -...

原创 redis集群主从配置

集群环境安装(ruby的环境云主机和虚拟机都不需要装)因为集群命令文件需要ruby语言的支持（自行下载）/home/resources/ruby包到解压目录执行编译ls查看发现ruby解压成功进入ruby目录#./configure 在当前根目录执行编译;相当于c语言有各种打包,压缩过程,可以将打包压缩的内容解压编译安装#make &amp;amp;amp;&amp;amp;amp; make inst...

原创 Reids槽道原理

原创 Redis集群的安装和使用

原创 SpringBoot整合quartz

配置额外的xml文件(spring的xml)在启动类中配置读取文件的注解@SpringBootApplication@ImportResource(&amp;quot;spring.xml&amp;quot;)石英钟quartz4个核心组件1 JobDetail : 管理一个/一组/多组真正执行的任务;2 Job:我们需要编写的真正任务的执行代码3 Trigger: 触发器,根据配置的时间表达式完成各种任务的定时触...