Alex的博客

ES支持多种语言客户都安，包括ruby js python java go .net等，其中java目前最新版本的客户都安支持2种方式。一种是旧版已经过时的transport client ，一种是，前者是通过tcp协议链接访问es，后者就是java代码实现的REST访问。

文本分析使Elasticsearch能够执行全文搜索，其中搜索返回所有相关结果，而不仅仅是精确匹配.如果您搜索"王者荣耀"，您可能希望包含"王者","荣耀"和"王者荣耀"的文档，还可能希望包含相关"王"或"者"的文档。ES中为了方便查询,提供多维度的查询功能,对存储在索引中的文档进行分词计算,但是文本内容不同,类型不同,语言不同分词计算逻辑就不会一样.内置的分词器可以处理一下通用场景,对于中文来讲常用的是IK分词器,ES也支持IK分词器的插件,IK分词器是基于词典的分词器,这让我们可以。

ES 索引的映射和设置&以及分词计算和热词更新操作

ES的核心概念和常用操作-索引数据和索引管理

ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案，是三个产品的首字母缩写，分别是ElasticSearch、Logstash 和 Kibana。head插件是一个可以帮助用户代理访问es的,可以图形界面展示数据的插件.我们配置了es的跨域开启,所以为了方便观察,我们可以安装head插件。

上节说了redis的常用的数据结构和操作，以及每种数据结构适用的场景，本篇文章主要说一下Redis的安装和性能搞的原因。

通过Maven Helper工具查找依赖冲突项，排除修改冲突依赖，从而解决出现问题的依赖。

今天开始进入Redis专题，这个专题主要会聊一聊redis常用的数据结构，redis的主从、哨兵、分布式集群等架构，以及redis的分布式锁，redis性能优化源码剖析等。首先来看一下redis是什么？。Redis就是一个C语言开发的、基于内存结构进行 键值对 数据存储的、高性能的、非关系型NoSQL数据库。Redis 是完全开源的，遵守 BSD 协议，是一个高性能的 key-value 数据库。Redis 与其他 key - value 缓存产品有以下三个特点：Redis有着更为复杂的数据结构并且提供对

Spark处理的数据有很多是存放在HBase数据库中的，所以，我们需要学会如何读写HBase数据库。版本依赖支持关系请看博主的上一篇文章，Hbase的版本很重要，别整差了。

这里说一下Hbase在使用过程中的表设计原则与优化方案，如果你是运维或者开发兼顾环境的工作，比较受用

本文主要讲一下从架构层面的读写流程以及Hbase读写过程的详细过程

最近需要处理Clickhouse里面的数据，经过上网查找总结一下spark读写Clickhouse的工具类已经遇到的问题点。

Hbase基本架构可能很多人比较好奇Zookeeper在hbase中到底担任什么作用？在HBase中，Zookeeper充当了注册中心当HBase启动之后，会自动的在Zookeeper上来注册一个/hbase节点当Active HMaster启动之后，会自动的在Zookeeper上注册一个临时节点/hbase/master - 当Active HMaster宕机之后，这个临时节点就会消失，此时Zookeeper就会从Backup HMasters中选择最早注册的节点来切换为Active状态当Backup H

本文主要讲一下Hbase的安装相关的内容。

HBase本质上是一个非关系型数据库，在实际过程中，用于存储数据。因为HBase的读写效率较高，吞吐量较大，因此一般使用HBase来存储实时的数据，最终数据会落地到HDFS上。HBase作为数据库，提供了完整的增删改查的能力，但是相对而言，HBase的事务能力较弱。HBase不支持SQL，提供了一套完整的命令

Docker官方维护了一个Docker Hub公共仓库 ，日常大部分需求都可以通过在 Docker Hub 中直接下载镜像来实现，但是有时需要根据自己的需要传自己制作的镜像上去，以供使用。本文主要讲解了怎么把自己的镜像推上去，详细步骤和过程中的问题，以供各位在试用的时候直接能用

前面介绍了通过Dockerfile来制作镜像，然后进行打包，进行docker run启动，接下来说一个docker总比较重要的另一个东西--docker compose。docker compose 在 Docker 容器运用中具有很大的学习意义，是一个整合发布应用的利器。而使用 docker compose 时，懂得如何编排配置文件是很重要的。本文将会从docker-compose的介绍，安装，使用、案例等方面来介绍这一工具

dockerfile 是构建镜像文件，他是由一系列的命令和脚本参数组成的，可以看成是镜像创建的源码dockerfile就是用来构建docker镜像的构建文件，命令参数脚本。

docker和宿主机进行数据的共享，使用的技术叫做数据卷技术。场景：如果容器使用msyql 创建了数据库。默认数据库数据存户在容器中的。但是容器随时可能被移动或者删除，数据就随之消失，这是非常不合理的。或者其他应用场景，我们希望通过配置宿主机的文件，实现容器内部的公用，比如nginx的静态文件，配置文件nginx.conf，如果使用容器内部的数据文件，总需要进入容器，这也是相对比麻烦的。

对于入门学习者，更推荐的方式是通过官网的Reffrence手册，学习使用命令，不仅存在用法，选项参数的解释，还有用力example。本文讲解docker命令的基本语法结构+实战

本文从docker基础知识开始讲解，从docker的来源，docker是什么，到docker如何安装，安装过程中遇到的坑是什么，通过白话的方式讲解docker东西，开启docker新的序列

前面的章节都在说zookeeper的原理、特性、安装方式、服务使用等，本章节说一下zookeeper该如果在java代码中做一些操作，如 ：连接、增加节点、删除节点、查询节点、修改节点数据、节点状态监控等。至此，zookeeper的基本操作到此结束！废话不多说，直接上代码。

Zookeeper进阶（选举机制以及ZBA协议），ZAB（Zookeeper Atomic Broadcast）协议是专门为zookeeper设计的用于进行原子广播和崩溃恢复的一套协议 。ZAB是基于2PC算法设计实现的，利用了过半性+PAXOS进行了改进

这一篇主要内容为 Zookeeper安装和使用，下一篇讲解zookeeper的选举机制和相关的ZBA协议

大数据生态系统里很多组件的命名都是某种动物，例如Hadoop是🐘，hive是🐝，zookeeper就是动物园管理者，是管理大数据生态系统各组件的管理员。本文主要介绍zk的一些基本概念

大数据平台架构及主流技术栈

Flume实时采集mysql数据到kafka中并输出。Apache Flume是一个分布式的、可靠的、可用的系统，用于有效地收集、聚合和将大量日志数据从许多不同的源移动到一个集中的数据存储。在大数据生态圈中，flume经常用于完成数据采集的工作。其实时性很高，延迟大约1-2s，可以做到准实时。又因为mysql是程序员常用的数据库，所以以flume实时采集mysql数据库为例子。要了解flume如何采集数据，首先要初探其架构：Flume 运行的核心是 Agent。Flume以agent为最小的独立运行单位。

Hadoop集群增加节点不删数据详细操作步骤：首先说一下这篇文章：今天主要说说当节点不够时，如何快速扩容，一会会儿就搞定了，上步骤：前面这些步骤跟上面一样，我就不细说了。

此文章包含两部分，一部分是mysql的安装，一部分是hive的安装和启动，当然安装mysql是为了给hive做元信息存储，使用本文的前提是Hadoop已经安装。

本文主要介绍通过Yum方式安装mysql服务，此种方式比较简单，采用yum的方式，如果是采用离线安装包的方式请参考博主的另一篇文章：Linux安装mysql以及遇到的问题解决办法_Alex_81D的博客-CSDN博客

window环境下安装大数据环境

Spark的算子操作列表

在sparksql中,保存数据到数据,只有Append,Overwrite,ErrorIfExists,Ignore四种模式,不满足项目需求,此处大概说一下我们需求，当业务库有数据发生变化，需要更新、插入、删除数仓中ods层的数据，因此需要改造源码。......

Spark on Hive 是Hive只作为存储角色，Spark负责sql解析优化，执行。这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下：【总结】Spark使用Hive来提供表的metadata信息。Hive on Spark是Hive既作为存储又负责sql的解析优化，Spark负责执行。这里Hive的执行引擎变成了Spark，不再是MR，这个要实现比Spark on Hive麻烦很多, 必须重新编译你的spark和导入

问题：通过match_all匹配后，会把所有的数据检索出来，但是往往真正的业务需求并非要找全部的数据，而是检索出自己想要的；Range过滤允许我们按照指定的范围查找一些数据：操作范围：gt::大于，gte::大于等于,lt::小于，lte::小于等于。2）找到原始数据中，所有性别是男生的，过滤年龄等于20的。如果此时想查询喜欢旅游的，并且不能是男孩的，怎么办？查询喜欢旅行的，如果有男性的则显示，否则不显示。查询出喜欢旅行的，并且年龄是20岁的文档。1）找到原始数据中，是女生的，喜欢旅游的。

一、在scala的2.10.*时代，case class只支持22参数但是在scala2.11.*时代则没有这个问题。。。https://blog.csdn.net/feloxx/article/details/76605232二、Nil的含义Nil是一个空的List，定义为List[Nothing]，根据List的定义List[+A]，所有Nil是所有List[T]的子类。https://www.jianshu.com/p/2a61366355a7三、split的使用问题的出现

spark读取Hive的三种方式1.HiveJDBC2.通过服务的方式直接读数据源因为hive只是起到映射的作用，所以最简单、直观的方式就是直接读取数据的存储组件(HDFS\HBASE)1.HiveJDBC方式一：val spark = pec.get[SparkSession]()val dbtable = "( " + sql + ") AS Temp"val jdbcDF = spark.read.format("jdbc") .option("url", jdbc

最近学习了Flink，做一些小的总结：（预计这个我会出一个系列）先来看看Flink是什么：（出自官网）Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Meso

注明：本文是参照大佬的文章的，大佬的有几处问题，我已经改了，还有就是一定要按照步骤一步一步来，不要耍过多的花样，给小白和临时用的人，其他的看情况！（我主要是给自己做个记录，下次好直接用）因为在Linux中安装oracle非常麻烦，相信每个人也会遇到各种坑，为了一次装好，也方便将来直接可以导出镜像在各平台移植使用，所以选择用docker安装，并做详细记录，为以后需要之时拿来再看。1、安装docker环境。2、开始拉取oracle镜像 docker pull registry.c.....

目录一.先从SparkContext和SparkConf开始：1.SparkContext 是什么?2、创建SparkContext的步骤：3、SparkConf二、SQLContext和HiveContext1.SQLContext 是什么?2.HiveContext 是什么?三、SparkSession其实对初学spark的同学来说，Sparksession，sparkcontext，sparksql，SparkConf看着都特别像，搞着搞着就混了，而且每次创...