HBase几种安装方式 HBase几种安装方式一、前提说明二、具体安装步骤一、前提说明Hadoop已经完成安装(如伪分布式、全分布式等)zookeeper已经完成安装(全分布式和HA模式需要)环境对应关系如下:hbase环境对应hadoop环境对应外部zookeeper环境本地模式不需要不需要伪分布式伪分布式单机安装(也可用hbase内置zookeeper)全分布式全分布式集群模式(也可用hbase内置zookeeper)HA模式HA模式集群模式(也可
Flink的流批WordCount入门案例 Flink的WordCount及其运行分析一、环境说明二、实现步骤三、分析总结一、环境说明工具版本IDEA2021.3.2Flink1.10.2Scala2.12JDK1.8_181二、实现步骤新建maven工程添加flink相关依赖到pom.xml中<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0
Flink概述 Flink概述一、Flink 是什么二、为什么要用 Flink三、流处理的演变发展四、Flink 的主要特点五、Flink vs Spark Streaming一、Flink 是什么Flink 起源于 Stratosphere 项目, Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目, 2014 年 4 月 Stratosphere 的代 码 被 复 制 并 捐 赠 给 了 Apache 软 件 基 金 会 , 参 加 这 个 孵
有幸遇见你们 时间又悄然来到2022年5月9日,这是我离开学校已经整整三个月的日子,也是我在新的组织工作也满三个月的一天。飞快的时光,令人感叹不已。在这三个月中,我虽已离开了原来的工作岗位,但是又好像没有完全离开。或许因我还在协助着原公司的某些工作,或许因我还没有完全退群,抑或是我内心仍旧喜爱在高校教学的工作……无论何种原因,值此你们毕业之际,我想写点我与你们的一些小小故事,以此诚挚祝福你们——2018级数据科学与大数据技术的全体同学——毕业快乐,前程似锦,未来一切顺利。同时,在此我亦怀着感激之情表达我对...
kubernetes概述 kubernetes概述一、kubernetes是什么二、kubernetes基础知识一、kubernetes是什么首先,它是一个全新的基于容器技术的分布式架构领先方案。Kubemetes 是谷歌严格保密十几年的秘密武器一-Borg 一个开源版本。其次,kubernetes不必再费心于负载均衡器的选型和部署实施问题,不必再考虑引入或自己开发一个复杂的服务治理框架,不必再头疼于服务监控和故障处理模块的开发。我们不仅节省了不少于 30%的开发成本,同时可以将精力更加集中于业务本身,而且由于 Kubem
kubernetes单Master集群搭建及安装UI管理界面Dashboard安装 kubernetes单Master集群搭建及安装UI管理界面Dashboard安装一、环境说明二、kubernetes部署方式三、kubernetes集群拓扑结构四、部署Kubernetes步骤五、部署Kubernetes-dashboard步骤一、环境说明实验环境:资源配置说明笔记本电脑内存 16G+VMWare Workstation15+版本kubernetes1.18.10kubernetes-dashboard2.0.3CentOS7
Flink On Yarn 模式说明与测试 Flink On Yarn 模式说明与测试一、环境说明二、环境搭建三、Flink On Yarn模式四、启动Session Cluster测试五、Per Job Cluster测试六、小结一、环境说明三台虚拟机内存分配如下:节点内存hadoop0024G (主节点,内存分配大些)hadoop0032Ghadoop0042G如条件允许情况下,可以将所有节点内容调整高些,如4GHadoop集群环境配置如下:全分布式环境节点安装路径dat
Flink统计日志图片信息并降序排序 Flink对日志信息中图片进行统计并降序排序一、需求说明二、环境说明三、编程实现一、需求说明统计出日志信息中的图片信息,统计每张图片出现的次数,并降序排序二、环境说明zookeeper环境配置如下:节点安装路径dataDir路径hadoop002/training/zookeeper-3.4.5/training/zookeeper-3.4.5/tmphadoop003/training/zookeeper-3.4.5/training/zookee
Kafka_2.12-3.1.0集群环境搭建 Kafka_2.12-3.1.0集群环境搭建一、环境说明二、安装步骤一、环境说明目前的Kafka版本还是需要借助zookeeper来存储cluster、brokers、consumer等相关元信息,在当前版本即2_12_3.1.0版本中内置有zookeeper,故针对zookeeper环境有两种:1. 使用内置的zookeeper如果选择使用内置的zookeeper,则需要修改Kafka安装目录下的config目录下的zookeeper.properties文件相关内容2. 使用外部的zook
Flink写数据到Elasticsearch简单实现 Flink写数据到Elasticsearch简单实现一、应用场景二、环境说明三、实验步骤四、一点思考一、应用场景针对实时处理的数据需要及时能够搜索出来时,可以选择elasticsearch来支持这一业务。当然还可以选择其他的内存数据库,如redis。而elasticsearch除了强大的全文索引能力外,还支持分布式存储,可以将其作为分布式计算框架的底座,用于存储热数据或者温数据等。常见的组合方式有elasticsearch与sparkstreaming以及flink进行配合共同完成实时或流式处理的场
SparkStreaming写数据到Elasticsearch简单实现 SparkStreaming写数据到Elasticsearch简单实现一、应用场景二、环境说明三、实验步骤四、思考一、应用场景针对实时处理的数据需要及时能够搜索出来时,可以选择elasticsearch来支持这一业务。当然还可以选择其他的内存数据库,如redis。而elasticsearch除了强大的全文索引能力外,还支持分布式存储,可以将其作为分布式计算框架的底座,用于存储热数据或者温数据等。常见的组合方式有elasticsearch与sparkstreaming以及flink进行配合共同完成实时
Linux下安装ElasticSearch集群 Linux下安装ElasticSearch集群一、环境说明二、安装步骤一、环境说明虚拟机名称节点名称内存及说明hadoop002node-12G 默认配置其为【Master】hadoop003node-22G Node节点1hadoop004node-32G Node节点1软件版本说明JDK1.8+es 高版本以后需要Java11elasticsearch7.8.0当前最新版本为8.1 官网地址二、安装
ElasticSearch Windows集群下的Java API实现简单的CURD操作 ElasticSearch Windows集群下的Java API实现简单的CURD操作一、环境说明二、实现步骤一、环境说明windows上部署三节点的集群,参考:ElasticSearch Windows集群安装部署elasticsearch版本:7.8.0测试框架:JUnit二、实现步骤创建maven项目添加es相关依赖,依赖如下:<dependencies> <dependency> <groupId>org.elas
ElasticSearch概述与核心概念 ElasticSearch概述与核心概念说明:一、概述二、Elasticsearch重要概念三、Elasticsearch 系统架构说明:该文章内容整理自网络,如有侵权,请及时联系博主一、概述ES相关概述Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。 作为 Elastic Stack 的核心,它集中存储您的数据,帮助您发现意料之中以及意料之外的情况。The Elastic Stack, 包括 Elasticsearch、Ki
ElasticSearch Windows集群安装部署 ElasticSearch Windows集群安一、集群部署二、集群验证三、集群状态说明四、创建索引(测试)一、集群部署前提是:下载Windows版本的es,当前版本7.8.0创建 elasticsearch-cluster 文件夹,在内部复制三个 elasticsearch 服务修改集群文件目录中每个节点的 config/elasticsearch.yml 配置文件node-1001 节点 配置如下:#节点 1 的配置信息:#集群名称,节点之间要保持一致cluster.name: m
忙碌的一个月 自2月9日至今,我已经在新的环境里学习和工作满了一个月了。我想记录下这个月里的所见所闻和自己的一些心得感受,算作是月度总结吧!虽然有三个月的学习培养或成长其,但第一个月的总体的感受就一个词:忙碌。那到底忙碌些什么呢?具体有如下几个方面:一方面是适应新环境,学习新环境各种办公所需软硬件。所谓软件,不仅仅包括字面意义上的软件,还包括了学习公司内部的各种文化:公司核心价值文化,团队内部组织文化和熟悉各种有用的网站以及各种作业流程。而硬件便是各种设备的使用和操作,如在公司政策范围内笔记本电脑、打印机等的合规