若兰幽竹

HBase几种安装方式一、前提说明二、具体安装步骤一、前提说明Hadoop已经完成安装（如伪分布式、全分布式等）zookeeper已经完成安装（全分布式和HA模式需要）环境对应关系如下：hbase环境对应hadoop环境对应外部zookeeper环境本地模式不需要不需要伪分布式伪分布式单机安装（也可用hbase内置zookeeper）全分布式全分布式集群模式（也可用hbase内置zookeeper）HA模式HA模式集群模式（也可

Flink的WordCount及其运行分析一、环境说明二、实现步骤三、分析总结一、环境说明工具版本IDEA2021.3.2Flink1.10.2Scala2.12JDK1.8_181二、实现步骤新建maven工程添加flink相关依赖到pom.xml中<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0

Flink概述一、Flink 是什么二、为什么要用 Flink三、流处理的演变发展四、Flink 的主要特点五、Flink vs Spark Streaming一、Flink 是什么Flink 起源于 Stratosphere 项目， Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目， 2014 年 4 月 Stratosphere 的代 码 被 复 制 并 捐 赠 给 了 Apache 软 件 基 金 会 ， 参 加 这 个 孵

时间又悄然来到2022年5月9日，这是我离开学校已经整整三个月的日子，也是我在新的组织工作也满三个月的一天。飞快的时光，令人感叹不已。在这三个月中，我虽已离开了原来的工作岗位，但是又好像没有完全离开。或许因我还在协助着原公司的某些工作，或许因我还没有完全退群，抑或是我内心仍旧喜爱在高校教学的工作……无论何种原因，值此你们毕业之际，我想写点我与你们的一些小小故事，以此诚挚祝福你们——2018级数据科学与大数据技术的全体同学——毕业快乐，前程似锦，未来一切顺利。同时，在此我亦怀着感激之情表达我对...

kubernetes概述一、kubernetes是什么二、kubernetes基础知识一、kubernetes是什么首先，它是一个全新的基于容器技术的分布式架构领先方案。Kubemetes 是谷歌严格保密十几年的秘密武器一－Borg 一个开源版本。其次，kubernetes不必再费心于负载均衡器的选型和部署实施问题，不必再考虑引入或自己开发一个复杂的服务治理框架，不必再头疼于服务监控和故障处理模块的开发。我们不仅节省了不少于 30%的开发成本，同时可以将精力更加集中于业务本身，而且由于 Kubem

kubernetes单Master集群搭建及安装UI管理界面Dashboard安装一、环境说明二、kubernetes部署方式三、kubernetes集群拓扑结构四、部署Kubernetes步骤五、部署Kubernetes-dashboard步骤一、环境说明实验环境：资源配置说明笔记本电脑内存 16G+VMWare Workstation15+版本kubernetes1.18.10kubernetes-dashboard2.0.3CentOS7

Flink On Yarn 模式说明与测试一、环境说明二、环境搭建三、Flink On Yarn模式四、启动Session Cluster测试五、Per Job Cluster测试六、小结一、环境说明三台虚拟机内存分配如下：节点内存hadoop0024G （主节点，内存分配大些）hadoop0032Ghadoop0042G如条件允许情况下，可以将所有节点内容调整高些，如4GHadoop集群环境配置如下：全分布式环境节点安装路径dat

Flink对日志信息中图片进行统计并降序排序一、需求说明二、环境说明三、编程实现一、需求说明统计出日志信息中的图片信息，统计每张图片出现的次数，并降序排序二、环境说明zookeeper环境配置如下：节点安装路径dataDir路径hadoop002/training/zookeeper-3.4.5/training/zookeeper-3.4.5/tmphadoop003/training/zookeeper-3.4.5/training/zookee

Kafka_2.12-3.1.0集群环境搭建一、环境说明二、安装步骤一、环境说明目前的Kafka版本还是需要借助zookeeper来存储cluster、brokers、consumer等相关元信息，在当前版本即2_12_3.1.0版本中内置有zookeeper，故针对zookeeper环境有两种：1. 使用内置的zookeeper如果选择使用内置的zookeeper，则需要修改Kafka安装目录下的config目录下的zookeeper.properties文件相关内容2. 使用外部的zook

Flink写数据到Elasticsearch简单实现一、应用场景二、环境说明三、实验步骤四、一点思考一、应用场景针对实时处理的数据需要及时能够搜索出来时，可以选择elasticsearch来支持这一业务。当然还可以选择其他的内存数据库，如redis。而elasticsearch除了强大的全文索引能力外，还支持分布式存储，可以将其作为分布式计算框架的底座，用于存储热数据或者温数据等。常见的组合方式有elasticsearch与sparkstreaming以及flink进行配合共同完成实时或流式处理的场

SparkStreaming写数据到Elasticsearch简单实现一、应用场景二、环境说明三、实验步骤四、思考一、应用场景针对实时处理的数据需要及时能够搜索出来时，可以选择elasticsearch来支持这一业务。当然还可以选择其他的内存数据库，如redis。而elasticsearch除了强大的全文索引能力外，还支持分布式存储，可以将其作为分布式计算框架的底座，用于存储热数据或者温数据等。常见的组合方式有elasticsearch与sparkstreaming以及flink进行配合共同完成实时

Linux下安装ElasticSearch集群一、环境说明二、安装步骤一、环境说明虚拟机名称节点名称内存及说明hadoop002node-12G 默认配置其为【Master】hadoop003node-22G Node节点1hadoop004node-32G Node节点1软件版本说明JDK1.8+es 高版本以后需要Java11elasticsearch7.8.0当前最新版本为8.1 官网地址二、安装

ElasticSearch Windows集群下的Java API实现简单的CURD操作一、环境说明二、实现步骤一、环境说明windows上部署三节点的集群，参考：ElasticSearch Windows集群安装部署elasticsearch版本：7.8.0测试框架：JUnit二、实现步骤创建maven项目添加es相关依赖，依赖如下：<dependencies> <dependency> <groupId>org.elas

ElasticSearch概述与核心概念说明：一、概述二、Elasticsearch重要概念三、Elasticsearch 系统架构说明：该文章内容整理自网络，如有侵权，请及时联系博主一、概述ES相关概述Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。 作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。The Elastic Stack, 包括 Elasticsearch、Ki

ElasticSearch Windows集群安一、集群部署二、集群验证三、集群状态说明四、创建索引（测试）一、集群部署前提是：下载Windows版本的es，当前版本7.8.0创建 elasticsearch-cluster 文件夹，在内部复制三个 elasticsearch 服务修改集群文件目录中每个节点的 config/elasticsearch.yml 配置文件node-1001 节点 配置如下：#节点 1 的配置信息：#集群名称，节点之间要保持一致cluster.name: m

自2月9日至今，我已经在新的环境里学习和工作满了一个月了。我想记录下这个月里的所见所闻和自己的一些心得感受，算作是月度总结吧！虽然有三个月的学习培养或成长其，但第一个月的总体的感受就一个词：忙碌。那到底忙碌些什么呢？具体有如下几个方面：一方面是适应新环境，学习新环境各种办公所需软硬件。所谓软件，不仅仅包括字面意义上的软件，还包括了学习公司内部的各种文化：公司核心价值文化，团队内部组织文化和熟悉各种有用的网站以及各种作业流程。而硬件便是各种设备的使用和操作，如在公司政策范围内笔记本电脑、打印机等的合规

Flink HA安装部署