- 博客(29)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 从零到一编写一个 spark 程序并提交到集群中运行
怎样用IDEA编写spark程序并提交到集群上运行1.安装scala sdk1.下载 scala 安装程序#下载地址https://www.scala-lang.org/download#windwos 下安装https://downloads.lightbend.com/scala/2.13.1/scala-2.13.1.msi2.配置环境变量新增系统变量 SCALA_HO...
2019-12-19 15:13:20
797
原创 kafka完整集群安装
kafka集群模式安装集群规划1.安装包下载2.安装zookeeper集群3.安装kafka1.检查zookeeper集群是否运行2.上传安装包并解压3.修改配置文件4.同步安装包到其他服务器5.启动和停止kafka4.集群测试1.创建一个Topic2.查看集群中的Topic3.生产和消费数据测试模拟生产者来生产数据模拟消费者消费数据运行describe topics命令查看分区情况4. 修改topic分区数5. 删除topic集群规划服务器名称服务器IP安装的组件node11
2021-08-26 15:17:51
814
原创 hadoop3.2.2大数据完整集群搭建
hadoop3.2.2完整集群搭建准备工作1.搭建虚拟机集群2.安装zookeeper集群3.下载或编译hadoop3.2.2安装包安装阶段1.创建安装目录并解压安装包2.修改配置文件2.1 修改 core-site.xml2.2 修改hdfs-site.xml3.修改修改yarn-site.xml4.修改workers文件5.修改hadoop-env.sh集群部署阶段1.同步hadoop到其他节点2.三台机器同时创建目录3.更改node2的rm2启动阶段准备工作1.搭建虚拟机集群请参考centos
2021-08-21 12:36:40
1159
原创 如何编译hadoop3.2源码增加snappy压缩功能
hadoop3.2.2源码编译安装软件下载解压安装包安装阶段1.安装jdk1.82.安装maven3.83.yum 安装源码编译相关依赖包4.安装protobuf5.安装CMake3.136.安装findbugs7.安装snappy8.编译hadoop软件下载所有软件安装包都放在了百度网盘里，请自取。链接：https://pan.baidu.com/s/1uJH5XYgyalQuVe_-5uYGUw提取码：lj2h解压安装包创建文件夹 /home/hadoopmkdir /home/hadoo
2021-08-21 08:34:20
1081
原创 编译hadoop源码并实现其文件压缩功能
从新编译HADOOP1.关闭防火墙和和selinux2.安装jdk2.1新建目录 /home/hadoop2.2解压 jdk1.7到 /home/hadoop/ 目录下2.3 配置环境变量3.安装配置maven4.安装findbugs5.安装依赖包6.安装protobuf7.安装snappy8.安装hadoop源码由于appache给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题,需要对Hadoop源码包进行重新编译.
2021-08-20 16:49:33
197
原创 如何在集群模式下安装zookeeper
zookeeper的安装部署1.集群规划2.安装zookeeper第一步：下载zookeeper第二步：解压zookeeper第三步：修改配置文件第四步：添加myid配置第五步：分发安装包并修改myid、第六步：启动zookeeper1.集群规划服务器IP服务器名称myid规划192.168.60.11node11192.168.60.12node22192.168.60.13node332.安装zookeeper第一步：下载zookeeper下载
2021-08-20 13:41:38
388
原创 使用vagrant快速搭建虚拟机集群
使用vagrant快速创建虚拟机集群1.下载并安装vagrant2. 下载并安装virtualbox3. 下载镜像并加载到系统中4. 编写vagrant 脚本4. vagrant 命令1.下载并安装vagrant你好，首先我们需要下载和安装一套快速化搭建服务器集群的软件 vagrant下载地址：https://www.vagrantup.com安装直接下一步就可以。2. 下载并安装virtualboxvagrant 依赖于virtualbox 所以必须两个软件结合着使用下载地址：https:
2021-08-19 11:11:17
802
原创 RabbitMQ的几种工作模式和优化建议
RabbitMQ的几种工作模式和优化建议1.组件介绍1.Broker:它提供一种传输服务,它的角色就是维护一条从生产者到消费者的路线，保证数据能按照指定的方式进行传输,2. Exchange：消息交换机,它指定消息按什么规则,路由到哪个队列。3. Queue:消息的载体,每个消息都会被投到一个或多个队列。4. Binding:绑定，它的作用就是把exchange和queue按照路由规则绑定起来.5. Routing Key:路由关键字,exchange根据这个关键字进行消息投递。6. vho
2020-06-28 16:33:04
6560
原创 Flink水印机制和应用
Flink水印机制和应用1. Flink流处理时间方式2. 水印机制产生的原因3. 使用水印解决网络延迟问题1. Flink流处理时间方式EventTime[事件时间]事件发生的时间，例如：点击网站上的某个链接的时间IngestionTime[摄入时间]某个Flink节点的source operator接收到数据的时间，例如：某个source消费到kafka中的数据Proc...
2020-01-03 21:45:16
606
原创 Flink Window 窗口概念和数据处理
Flink Window 窗口概念和数据处理Flink的Window操作1. 什么是window2. 时间窗口2.时间窗口案例1.tumbling-time-window (翻滚窗口-无重叠数据)2. sliding-time-window (滑动窗口-有重叠数据)3. 小结3.统计窗口Count-Window1 tumbling-count-window (无重叠数据)2 sliding-cou...
2020-01-03 21:13:43
1648
原创 Flink流处理操作、并对Kafka和mysql进行数据流处理
Flink流处理1.输入数据集DataSource1.基于集合的source2.基于文件的source3.基于网络套接字的source4.自定义source5.使用Kafka作为数据源6.使用MySQL作为数据源2.DataStream的Transformation1.keyBy2. Connect3. split和select3.Flink在流处理上常见的sink1. Sink到Kafka2. ...
2020-01-03 20:08:32
3823
1
原创 Flink批处理和Transformation算子
Flink批处理DataSource1.基于集合的 source2.读取 hdfs中得数据3.读取本地文件4.读取CSV文件5.遍历目录2.Flink批处理Transformation1. map2. flatMap3.mapPartition4.filter5.reduce6.groupBy7. reduceGroup8.aggregate9.distinctDataSource1.基于集合...
2020-01-03 19:02:22
1245
1
原创 怎样用 Idea 搭建flink项目
怎样用 Idea 搭建flink项目批处理环境搭建1.IDEA新建maven项目2.创建项目3. 添加scala文件夹4.增加scala配置5. 配置maven批处理环境搭建1.IDEA新建maven项目2.创建项目3. 添加scala文件夹4.增加scala配置5. 配置mavenmaven 配置<?xml version="1.0" encoding="UTF-...
2020-01-03 13:34:40
6244
1
原创 flink on yram 任务管理
FLINK ON YRAM flink on yram 提交流程yarn-session提供两种模式会话模式（适合大量的小任务不用重新调度）分离模式（适合大任务）flink on yram 提交流程flink运行在YARN上，可以使用yarn-session来快速提交作业到YARN集群。我们先来看下Flink On Yarn模式，Flink是如何和Yarn进行交互的。上传jar包和配置...
2020-01-03 11:02:45
705
原创 手把手教你搭建实时大数据引擎FLINK
手把手教你搭建实时大数据引擎FLINK 服务器规划Standalone高可用HA模式架构图下载并上传tar包具体安装步骤yarm 集群环境搭建服务器规划服务器规划服务名称职能zhen 192.168.2.5(震）master+slavexun 192.168.2.6（巽）slaveli 192.168.2.7（离）slaveStandalon...
2020-01-03 09:19:48
629
原创 使用docker部署Redis
docker部署Redis1.拉取镜像安装镜像1.普通启动2.数据持久化存方式启动配置文件方式启动4.客户端查看Redis命令1.拉取镜像下载镜像docker pull redis查看下载docker images安装镜像1.普通启动[root@li ~]# docker run -p 6379:6379 -d redis:latest redis-server...
2019-12-24 10:10:35
25160
5
原创 使用docker部署rabbitMQ
docker部署rabbitMQ1.获取rabbit镜像：2.安装rabbitMQ镜像3.运行UI监控1.获取rabbit镜像：docker pull rabbitmq:management # 下载镜像docker images #查看镜像下载完成后查看 rabbitma2.安装rabbitMQ镜像docker run -d --name rabbitmq -p 5672:56...
2019-12-23 22:12:37
184
原创 hive调优
HIVE调优12.hive调优**12.1** Fetch抓取12.8 并行执行12.9 严格模式12.10 **JVM重用**12.11 **推测执行**12.hive调优12.1 Fetch抓取Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM score;在这种情况下，Hive可以简单地读取score对应的存储目录下的文件，然后输出查询结果到...
2019-12-23 12:14:03
122
原创 HIVE数据压缩技术和存储压缩技术
HIVE数据压缩技术和存储压缩技术10.hive的数据压缩**10.1 **MR支持的压缩编码**10.2 压缩配置**参数**10.3 开启Map**输出阶段压缩**10.4** 开启Reduce输出阶段压缩**11.hive的数据存储格式****11.1** **列式存储**和行式存储10.hive的数据压缩在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hado...
2019-12-23 12:09:21
240
原创 HIVE数据库中的SQL操作详细步骤
HIVE数据库SQL操作7.修改表结构8.hive表中加载数据(分区表）9.Hive 查询语法1.查询语句格式2.常用函数3.WHERE语句4. LIKE 和 RLIKE5. 逻辑运算符6. 分组6.1GROUP BY 语句6.2 HAVING 语句7. JOIN 语句7.1. 等值 JOIN7.2. 表的别名7.3. 内连接7.4. 左外连接7.5. 右外连接7.6. 多表连接8.. 排序8.1...
2019-12-23 11:46:32
1062
原创 大数据分析引擎hive的库表操作，进阶成长。
HIVE数据库操作4.数据库操作1.创建数据库1.创建hive数据仓库2.创建指定目录的数据仓库2.设置数据库的信息5.数据表操作1.创建hive表2.内部表操作3.外部表操作1.新建外部表并加载数据2.新建外部表并从本地复制数据到表中3.覆盖外部表中的数据4.从hdfs文件中加载数据到外部表分区表的操作4.数据库操作1.创建数据库HIVE工程的搭建请参考上一篇文章1.创建hive数据仓库...
2019-12-21 23:20:28
136
原创 从零到一搭建大数据分析引擎HIVE
从零到一搭建大数据分析引擎HIVE1.集群的规划2.安装步骤1.下载hive安装包2.利用docker安装mysql3.修改hive的配置文件4.增加hive-site.xml配置文件5.上传mysql 驱动6.添加hive的环境变量3.启动HIVE1.集群的规划以下安装的前提是已经部署好hadoop集群一个简单的表格是这么创建的：节点 功能节点名称节点IP安装软件...
2019-12-21 20:13:13
244
原创 docker部署mysql
利用docker安装mysql1.下载Mysql官方镜像2.创建mysql容器3.连接测试1.下载Mysql官方镜像1.下载镜像这里我们安装的是MySQL 5.7docker pull mysql:5.72.查看镜像，可以看到镜像里面有个mysqldocker images2.创建mysql容器1.创建mysql的本地映射目录mkdir -p /home/mysql...
2019-12-21 18:03:02
226
原创 大数据应用-Spark集群的部署
Spark 的安装集群的规划1.下载和解压下载 Spark解压 Spark 安装包移动 Spark 安装包2.配置分发和运行Spark 集群高可用搭建入门例子集群的规划一个简单的表格是这么创建的：节点 功能节点名称节点IPmarster 和 slavezhen(震）192.168.2.5slavexun(巽）192.168.2.6slaveli(离...
2019-12-18 13:38:26
261
原创 4.Spring Security 图片验证码技术
1.增加图片验证代码// 图片验证码信息public class ImageCode { // 图片 private BufferedImage image; // 随机数 private String code; // 过期时间 private LocalDateTime expireTime; public ImageCode...
2019-09-07 22:54:25
188
原创 3.Spring Security 登录成功和失败处理
失败处理流程 继承AuthenticationFailureHandler 接口@Component("MyAuthenticationFailureHandler")public class MyAuthenticationFailureHandler implements AuthenticationFailureHandler { protected Logger logge...
2019-09-07 14:07:30
1067
1
原创 2.Spring Security 自定义表单认证
写一个自己的登录表单。<body><h2>标准登录页面</h2><h3>表单登录</h3><form action="/login/form" method="post"> <table> <tr> <td>用户名:</td&...
2019-09-07 12:34:15
121
原创 1.Spring Security 配置简单的验证和密码
Spring Security 的基本使用创建WebSecurityConfigurerAdapter 类，这个方法主要是用来配置 security中的验证项在这里插入代码片@Configurationpublic class MySecurityConfigurer extends WebSecurityConfigurerAdapter { @Bean Passwo...
2019-09-07 12:00:22
886
thrift-0.12.0
2019-02-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人