smartsteps的博客

kafka集群模式安装集群规划1.安装包下载2.安装zookeeper集群3.安装kafka1.检查zookeeper集群是否运行2.上传安装包并解压3.修改配置文件4.同步安装包到其他服务器5.启动和停止kafka4.集群测试1.创建一个Topic2.查看集群中的Topic3.生产和消费数据测试模拟生产者来生产数据模拟消费者消费数据运行describe topics命令查看分区情况4. 修改topic分区数5. 删除topic集群规划服务器名称服务器IP安装的组件node11

hadoop3.2.2完整集群搭建准备工作1.搭建虚拟机集群2.安装zookeeper集群3.下载或编译hadoop3.2.2安装包安装阶段1.创建安装目录并解压安装包2.修改配置文件2.1 修改 core-site.xml2.2 修改hdfs-site.xml3.修改修改yarn-site.xml4.修改workers文件5.修改hadoop-env.sh集群部署阶段1.同步hadoop到其他节点2.三台机器同时创建目录3.更改node2的rm2启动阶段准备工作1.搭建虚拟机集群请参考centos

hadoop3.2.2源码编译安装软件下载解压安装包安装阶段1.安装jdk1.82.安装maven3.83.yum 安装源码编译相关依赖包4.安装protobuf5.安装CMake3.136.安装findbugs7.安装snappy8.编译hadoop软件下载所有软件安装包都放在了百度网盘里，请自取。链接：https://pan.baidu.com/s/1uJH5XYgyalQuVe_-5uYGUw提取码：lj2h解压安装包创建文件夹 /home/hadoopmkdir /home/hadoo

从新编译HADOOP1.关闭防火墙和和selinux2.安装jdk2.1新建目录 /home/hadoop2.2解压 jdk1.7到 /home/hadoop/ 目录下2.3 配置环境变量3.安装配置maven4.安装findbugs5.安装依赖包6.安装protobuf7.安装snappy8.安装hadoop源码由于appache给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题,需要对Hadoop源码包进行重新编译.

zookeeper的安装部署1.集群规划2.安装zookeeper第一步：下载zookeeper第二步：解压zookeeper第三步：修改配置文件第四步：添加myid配置第五步：分发安装包并修改myid、第六步：启动zookeeper1.集群规划服务器IP服务器名称myid规划192.168.60.11node11192.168.60.12node22192.168.60.13node332.安装zookeeper第一步：下载zookeeper下载

使用vagrant快速创建虚拟机集群1.下载并安装vagrant2. 下载并安装virtualbox3. 下载镜像并加载到系统中4. 编写vagrant 脚本4. vagrant 命令1.下载并安装vagrant你好，首先我们需要下载和安装一套快速化搭建服务器集群的软件 vagrant下载地址：https://www.vagrantup.com安装直接下一步就可以。2. 下载并安装virtualboxvagrant 依赖于virtualbox 所以必须两个软件结合着使用下载地址：https:

RabbitMQ的几种工作模式和优化建议1.组件介绍1.Broker:它提供一种传输服务,它的角色就是维护一条从生产者到消费者的路线，保证数据能按照指定的方式进行传输,2. Exchange：消息交换机,它指定消息按什么规则,路由到哪个队列。3. Queue:消息的载体,每个消息都会被投到一个或多个队列。4. Binding:绑定，它的作用就是把exchange和queue按照路由规则绑定起来.5. Routing Key:路由关键字,exchange根据这个关键字进行消息投递。6. vho

Flink水印机制和应用1. Flink流处理时间方式2. 水印机制产生的原因3. 使用水印解决网络延迟问题1. Flink流处理时间方式EventTime[事件时间]事件发生的时间，例如：点击网站上的某个链接的时间IngestionTime[摄入时间]某个Flink节点的source operator接收到数据的时间，例如：某个source消费到kafka中的数据Proc...

Flink Window 窗口概念和数据处理Flink的Window操作1. 什么是window2. 时间窗口2.时间窗口案例1.tumbling-time-window (翻滚窗口-无重叠数据)2. sliding-time-window (滑动窗口-有重叠数据)3. 小结3.统计窗口Count-Window1 tumbling-count-window (无重叠数据)2 sliding-cou...

Flink流处理1.输入数据集DataSource1.基于集合的source2.基于文件的source3.基于网络套接字的source4.自定义source5.使用Kafka作为数据源6.使用MySQL作为数据源2.DataStream的Transformation1.keyBy2. Connect3. split和select3.Flink在流处理上常见的sink1. Sink到Kafka2. ...

Flink批处理DataSource1.基于集合的 source2.读取 hdfs中得数据3.读取本地文件4.读取CSV文件5.遍历目录2.Flink批处理Transformation1. map2. flatMap3.mapPartition4.filter5.reduce6.groupBy7. reduceGroup8.aggregate9.distinctDataSource1.基于集合...

怎样用 Idea 搭建flink项目批处理环境搭建1.IDEA新建maven项目2.创建项目3. 添加scala文件夹4.增加scala配置5. 配置maven批处理环境搭建1.IDEA新建maven项目2.创建项目3. 添加scala文件夹4.增加scala配置5. 配置mavenmaven 配置<?xml version="1.0" encoding="UTF-...

FLINK ON YRAM flink on yram 提交流程yarn-session提供两种模式会话模式（适合大量的小任务不用重新调度）分离模式（适合大任务）flink on yram 提交流程flink运行在YARN上，可以使用yarn-session来快速提交作业到YARN集群。我们先来看下Flink On Yarn模式，Flink是如何和Yarn进行交互的。上传jar包和配置...

手把手教你搭建实时大数据引擎FLINK 服务器规划Standalone高可用HA模式架构图下载并上传tar包具体安装步骤yarm 集群环境搭建服务器规划服务器规划服务名称职能zhen 192.168.2.5(震）master+slavexun 192.168.2.6（巽）slaveli 192.168.2.7（离）slaveStandalon...

docker部署Redis1.拉取镜像安装镜像1.普通启动2.数据持久化存方式启动配置文件方式启动4.客户端查看Redis命令1.拉取镜像下载镜像docker pull redis查看下载docker images安装镜像1.普通启动[root@li ~]# docker run -p 6379:6379 -d redis:latest redis-server...

docker部署rabbitMQ1.获取rabbit镜像：2.安装rabbitMQ镜像3.运行UI监控1.获取rabbit镜像：docker pull rabbitmq:management # 下载镜像docker images #查看镜像下载完成后查看 rabbitma2.安装rabbitMQ镜像docker run -d --name rabbitmq -p 5672:56...

HIVE调优12.hive调优**12.1** Fetch抓取12.8 并行执行12.9 严格模式12.10 **JVM重用**12.11 **推测执行**12.hive调优12.1 Fetch抓取Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM score;在这种情况下，Hive可以简单地读取score对应的存储目录下的文件，然后输出查询结果到...

HIVE数据压缩技术和存储压缩技术10.hive的数据压缩**10.1 **MR支持的压缩编码**10.2 压缩配置**参数**10.3 开启Map**输出阶段压缩**10.4** 开启Reduce输出阶段压缩**11.hive的数据存储格式****11.1** **列式存储**和行式存储10.hive的数据压缩在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hado...

HIVE数据库SQL操作7.修改表结构8.hive表中加载数据(分区表）9.Hive 查询语法1.查询语句格式2.常用函数3.WHERE语句4. LIKE 和 RLIKE5. 逻辑运算符6. 分组6.1GROUP BY 语句6.2 HAVING 语句7. JOIN 语句7.1. 等值 JOIN7.2. 表的别名7.3. 内连接7.4. 左外连接7.5. 右外连接7.6. 多表连接8.. 排序8.1...

HIVE数据库操作4.数据库操作1.创建数据库1.创建hive数据仓库2.创建指定目录的数据仓库2.设置数据库的信息5.数据表操作1.创建hive表2.内部表操作3.外部表操作1.新建外部表并加载数据2.新建外部表并从本地复制数据到表中3.覆盖外部表中的数据4.从hdfs文件中加载数据到外部表分区表的操作4.数据库操作1.创建数据库HIVE工程的搭建请参考上一篇文章1.创建hive数据仓库...