- 博客(48)
- 收藏
- 关注
RSS订阅原创 8.1.1 Flink快速应用【批量处理数据、实时流处理数据】
Flink快速应用文章目录Flink快速应用第 1 节 单词统计案例（批数据）1.1 需求1.2 代码实现通过一个单词统计的案例，快速上手应用Flink，进行流处理（Streaming）和批处理（Batch）第 1 节 单词统计案例（批数据）1.1 需求统计一个文件中各个单词出现的次数，把统计结果输出到文件步骤：1、读取数据源2、处理数据源a、将读到的数据源文件中的每一行根据空格切分b、将切分好的每个单词拼接1 c、根据单词聚合（将相同的单词放在一起）d、累加相同的单词（单词后面
2021-12-11 16:45:17
2833
原创 7.1.5 智慧物流【车辆监控Structured Streaming、整合kafka、Redis、Mysql、HBASE 写入数据】
车辆监控文章目录车辆监控第一节 Structured Streaming1.1 Structured Streaming发展历史1.1.1 Spark Streaming第一节 Structured Streaming1.1 Structured Streaming发展历史1.1.1 Spark Streaming
2021-11-18 22:53:47
2643
原创 7.1.4 智慧物流【实时数据采集,Kafka与nginx配置、java模拟车载传感采集数据发送到Kafka】
实时数据采集文章目录实时数据采集第一节 配置Nginx1、 安装git工具，安装wget下载工具2、切换到/usr/local/src目录，然后将kafka的 客户端源码使用git clone到本地3、进入librdkafka目录，对kafka客户端源码进行编译4、安装nginx 整合kafka的插件，进入到/usr/local/src目录下，使用git clone nginx整合kafka的源码5、下载nginx源码包6、进入到nginx的源码目录下(编译nginx，包含与kafka整合的插件)7、修
2021-09-23 23:43:14
683
原创 7.1.3智慧物流【指标统计,业务数据，快递单主题，运单主题（ETL，sqoop数据导出到MySql）】
指标统计文章目录指标统计第一节 指标体系第二节 业务数据1.1 物流系统数据库表揽件表（lg_collect_package）客户表（lg_customer）物流系统码表（lg_codes）快递单据表（lg_express_bill）客户地址表（lg_customer_address）网点表（lg_dot）公司表（lg_company）公司网点关联表（lg_company_dot_map）运单表（lg_waybill）线路表（lg_route）运输工具表（lg_transport_tool）转运记录表（
2021-09-16 23:59:39
1917
原创 7.1.1智慧物流【数据采集（sqoop）、ETL、数据导出】
智慧物流文章目录智慧物流一、项目整体架构二、数据采集第 1 节 数据说明第 2 节 业务数据第 3 节 同步数据到Hive3.1 离线数据采集3.1.1 第一次全量导入3.1.2 增量导入三、 数据ETL第 1 节 ODS->DWD1.1 lg_dwd.fact_orders--订单拉链表1.1.1 创建DWD层订单表1.1.2 订单拉链操作1.2 lg_order_items--订单明细表第 2 节 ODS-->DIM2.1 lg_dim.lg_items 商品表2.1.1 商品拉链表操作
2021-06-29 22:37:27
2127
5
原创 6.3.2 Spark GraphX【存储模式、核心数据结构、计算（图基本操作、连通图算法、寻找相同用户，合并）】
Spark GraphX文章目录Spark GraphX第1节 Spark GraphX概述第2节 Spark Grap2.1 GraphX 架构2.2 存储模式2.3 核心数据结构1、Graph2、vertices3、edges4、triplets第3节 Spark GraphX计算案例一：图的基本操作案例二：连通图算法案例三：寻找相同的用户，合并信息第1节 Spark GraphX概述GraphX 是 Spark 一个组件，专门用来表示图以及进行图的并行计算。GraphX 通过重新定义了图的
2021-06-14 22:19:06
1304
4
原创 6.3.1 Spark Streaming【DStream基础数据源、DStream转换操作、DStream输出操作、与kafka整合（08、010接口，offset偏移量）】
Spark Streaming文章目录Spark Streaming第1节 Spark Streaming概述第2节 DStream基础数据源2.1 文件数据流2.2 Socket数据流第1节 Spark Streaming概述第2节 DStream基础数据源基础数据源包括：文件数据流、socket数据流、RDD队列流；这些数据源主要用于测试。引入依赖： <dependency> <groupId>org.apache.spa
2021-06-09 00:03:32
460
2
原创 6.2.2 RDD编程高阶【序列化、依赖关系、持久化缓存、容错机制、分区、累加器、广播变量】、RDD编程优化、Shuffle原理
Spark Core文章目录Spark Core第4节 RDD编程高阶4.1 序列化4.2 RDD依赖关系再谈WordCount4.3 RDD持久化/缓存4.4 RDD容错机制Checkpoint第4节 RDD编程高阶Spark原理4.1 序列化在实际开发中会自定义一些对RDD的操作，此时需要注意的是：初始化工作是在Driver端进行的实际运行程序是在Executor端进行的这就涉及到了进程通信，是需要序列化的。可以简单的认为SparkContext代表Driver。packa
2021-05-18 23:28:29
236
原创 6.2.1 Spark Core(Spark概述、RDD编程【特点、RDD创建、Transformation（常见算子）、Key-ValueRDD操作】)
Spark Core文章目录Spark Core第1节 Spark概述1.1 什么是Spark1.2 Spark 与 Hadoop1.3 系统架构1.4 Spark集群部署模式1.5 相关术语第3节 RDD编程3.1 什么是RDD3.2 RDD的特点**1、分区****2、只读**3、依赖4、缓存5、checkpoint3.3 Spark编程模型第1节 Spark概述1.1 什么是SparkSpark是当今大数据领域最活跃、最热门、最高效的大数据通用计算引擎2009年诞生于美国加州大学伯克利
2021-05-16 00:38:47
331
原创 Spark安装配置（本地模式、伪分布式、集群模式--standalone,yarn模式）
Spark安装配置文章目录Spark安装配置2.1 Spark安装2.2 本地模式2.3 伪分布式2.4 集群模式--Standalone模式2.4.1 Standalone 配置2.4.2 运行模式(cluster / client)2.1 Spark安装官网地址：http://spark.apache.org/文档地址：http://spark.apache.org/docs/latest/下载地址：http://spark.apache.org/downloads.html下载Spa
2021-05-07 23:13:19
1669
1
原创 6.1.2 Scala编程(特质trait、模式匹配和样例类、函数及抽象化、集合【Seq,Set,Map】/集合常用算子、与java集合转换、泛型参数、Akka)
Scala编程文章目录Scala编程第六部分 特质第1节 作为接口使用的特质第2节 带有具体实现的特质第3节 特质构造顺序第4节 特质继承类第5节 Ordered和Ordering第七部分 模式匹配和样例类第1节 模式匹配第2节 字符和字符串匹配第3节 守卫式匹配第4节 匹配类型第5节 匹配数组、元组、集合第6节 样例类第7节 Option与模式匹配第八部分 函数及抽象化第1节 函数字面量及函数的定义第2节 函数与方法的区别第3节 匿名函数与占位符第4节 高阶函数第5节 闭包第6节 柯里化第7节 部分应
2021-04-23 22:48:22
326
原创 6.1.1 Scala编程（安装配置，基础语法，控制结构和函数，数组和元组，类与对象，继承）
Scala编程文章目录Scala编程第一部分 Scala基础第1节 Scala语言概况1.1 Scala语言起源1.2 Scala语言特点1.3 为什么要学Scala第2节 环境准备2.1 Windows下环境配置2.2 IDEA环境配置2.3 Scala的REPL第3节 基础语法第4节 常用类型与字面量第5节 类层次结构第6节 值与变量&自动类型推断第7节 操作符第8节 块表达式和赋值语句第9节 输入和输出第10节 字符串插值器第11节 对象相等性第二部分 控制结构和函数第1节 if 表达式第
2021-04-18 21:50:28
230
原创 5.2.2 电商离线数仓项目实战 【下】（任务调度系统Airflow）
电商离线数仓项目实战 【下】文章目录电商离线数仓项目实战 【下】第二部分 任务调度系统Airflow第1节 Airflow简介1.1、体系架构1.2、重要概念第2节 Airflow安装部署2.1、安装依赖2.2、Python环境准备2.3、安装Airflow2.4、创建数据库用户并授权2.5、修改Airflow DB配置第二部分 任务调度系统Airflow第1节 Airflow简介Airflow 是 Airbnb 开源的一个用 Python 编写的调度工具。于 2014 年启动，2015年春
2021-04-11 18:50:34
552
原创 5.2.1 电商离线数仓项目实战 【下】（电商分析-核心交易 ：Mysql转入ODS层--全量导入、增量导入，维表、拉链表、周期性事实表，DIM、DWD、DWS、ADS层数据加载）
电商离线数仓项目实战 【下】文章目录电商离线数仓项目实战 【下】第一部分 电商分析之--核心交易第1节 业务需求第2节 业务数据库表结构第3节 数据导入3.1、全量数据导入第一部分 电商分析之–核心交易第1节 业务需求本主题是电商系统业务中最关键的业务，电商的运营活动都是围绕这个主题展开。选取的指标包括：订单数、商品数、支付金额。对这些指标按销售区域、商品类型进行分析。第2节 业务数据库表结构业务数据库：数据源交易订单表（trade_orders）订单产品表（order_pro
2021-04-09 00:13:24
1582
原创 5.1.2 电商离线数仓(广告业务)
电商离线数仓文章目录电商离线数仓一、电商分析之--广告业务第1节 需求分析第2节 事件日志采集第3节 ODS层建表和数据加载第4节 DWD层建表和数据加载4.1、DWD层建表4.2、事件json串解析4.3、DWD层数据加载第5节 广告点击次数分析5.1 需求分析**广告：ad****公共字段**5.2、创建ADS层表5.3、加载ADS层数据第6节 漏斗分析(点击率购买率)6.1、需求分析6.2、创建ADS层表6.3、加载ADS层数据第7节 广告效果分析7.1、需求分析7.2、创建ADS层表7.2、加载
2021-04-04 15:31:23
680
原创 5.1.1 电商离线数仓(数仓需求分析、日志采集、表数据加载、json数据处理、 Datax 数据导出、Tez高仿日启动测试)
电商离线数仓文章目录电商离线数仓一、电商离线数仓设计第1节 需求分析电商业务简介第2节 数据埋点第3节 数据指标体系第4节 总体架构设计4.1、技术方案选型框架选型**软件选型**服务器选型集群规模规划4.2、系统逻辑架构4.3、开发物理环境4.4、数据仓库命名规范二、 电商分析之--会员活跃度第1节 需求分析计算指标：指标口径业务逻辑：第2节 日志数据采集2.1、taildir source配置2.2、hdfs sink配置2.3、Agent的配置2.4、Flume的优化配置2.5、自定义拦截器
2021-04-04 00:23:45
4186
9
原创 Tez安装和使用（Hive on Tez）
Hive on Tez文章目录Hive on Tez2.1、Tez概述2.2、安装部署Hortonworks在2014年左右发布了Stinger Initiative，并进行社区分享，为的是让Hive支持更多SQL，并实现更好的性能。让Hive的查询功能更强大。增加类似OVER子句的分析功能，支持WHERE子查询，以及调整Hive的样式系统更多的符合标准的SQL模型；优化Hive的请求执行计划，增加 Task 每秒处理记录的数量；引入新的列式文件格式（ORC文件），提供一种更现代、高效和高
2021-04-03 22:56:08
876
1
原创 DataX 安装及使用
DataX 安装及使用文章目录DataX 安装及使用一、DataX快速入门1.1、DataX概述及安装**概述**DataX安装配置1.2、DataX使用案例一、DataX快速入门1.1、DataX概述及安装DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步
2021-04-02 21:15:13
283
原创 4.2.5 Kafka集群与运维（集群的搭建、监控工具 Kafka Eagle）
Kafka集群与运维文章目录Kafka集群与运维1.集群的搭建1.1 搭建zookeeper集群1.1.1 上传JDK到linux，安装并配置JDK1.1.2. Linux 安装Zookeeper，三台Linux都安装，以搭建Zookeeper集群1.1.3.启动zookeeper1.2、Kafka集群搭建2.1 安装Kafka2.2 配置Kafka2.3 启动Kafka2.监控工具 Kafka Eagle2.1 需要Kafka节点开启JMX2.2 安装2.3 配置环境变量：1.集群的搭建搭建设
2021-03-23 17:41:00
567
2
原创 4.2.4 Kafka高级特性解析(物理存储、稳定性:事物，控制器，可靠性，一致性，_consumer_offsets、延时队列、自定义重试队列)
Kafka高级特性解析文章目录Kafka高级特性解析2.5 物理存储2.5.1 日志存储概述2.5 物理存储2.5.1 日志存储概述Kafka 消息是以主题为单位进行归类，各个主题之间是彼此独立的，互不影响。每个主题又可以分为一个或多个分区。每个分区各自存在一个记录消息数据的日志文件。图中，创建了一个 tp_demo_01 主题，其存在6个 Parition，对应的每个Parition下存在一个[Topic-Parition] 命名的消息日志文件。在理想情况下，数据流量分摊到各个 Pa
2021-03-23 15:59:17
408
原创 4.2.3 Kafka高级特性解析(主题--shell管理、增加分区、分区副本分配、app操作；分区--leader选举、重新分配、自动再均衡、分区策略)
Kafka高级特性解析文章目录Kafka高级特性解析2.3 主题2.3.1 管理2.3.1.1 创建主题2.3.1.2 查看主题2.3.1.3 修改主题2.3.1.4 删除主题2.3.2 增加分区2.3.3 分区副本的分配-了解2.3.4 必要参数配置2.3.5 KafkaAdminClient应用查看主题创建主题删除主题修改主题查看分区详情查询集群信息查看配置信息修改配置信息修改副本的日志目录查询节点的日志目录信息2.3 主题2.3.1 管理使用kafka-topics.sh脚本：主
2021-03-18 17:08:29
510
原创 4.2.2 Kafka高级特性解析（生产者消息发送、序列化器拦截器；消费者消息接收、反序列化、位移提交、再均衡、消费组）
Kafka高级特性解析文章目录Kafka高级特性解析2.1 生产者2.1.1 消息发送2.1.1.1 数据生产流程解析2.1.1.2 必要参数配置broker配置2.1.1.3 序列化器自定义序列化器2.1.1.4 分区器2.1.1.5 拦截器**自定义拦截器：**2.1.2 原理剖析2.1.3 生产者参数配置补充2.2 消费者2.2.1 概念入门2.2.1.1 消费者、消费组2.2.1.2 心跳机制2.1 生产者2.1.1 消息发送2.1.1.1 数据生产流程解析Producer创建时
2021-03-16 11:31:59
154
原创 4.2.1 kafka（安装与配置、开发实战、服务端参数配置）
Kafka架构与实战文章目录Kafka架构与实战1.2 Kafka安装与配置1.2.1 Java环境为前提1.2.2 Zookeeper的安装配置1.2.3 Kafka的安装与配置1.2.4 生产与消费1.3 Kafka开发实战1.3.1 消息的发送与接收1.3.2 SpringBoot Kafka1.4 服务端参数配置1.4.1 zookeeper.connect1.4.2 listeners1.4.3 broker.id1.4.4 log.dir1.2 Kafka安装与配置1.2.1 Jav
2021-03-11 18:15:44
137
原创 4.1.1 Redis集群搭建&JedisCluster客户端连接
Redis集群搭建&JedisCluster客户端连接文章目录Redis集群搭建&JedisCluster客户端连接概述1.1 搭建Redis5.0集群第一步：安装 C 语言需要的 GCC 环境第二步：下载并解压缩 Redis 源码压缩包第三步：集群搭建1.2 添加一主一丛（Master4和Slaver4），安装步骤第一步：添加主节点第二步：添加从节点第三步：添加Master4结点作为新节点,并启动第四步：hash槽重新分配（数据迁移）第五步：添加从节点（Slaver4）1.3 通过Je
2021-03-11 15:39:00
438
原创 3.4.3 ⼯作流调度系统Azkaban(安装部署、job依赖、Job/HDFS/MAPREDUCE/HIVE任务调度、定时任务)
⼯作流调度系统Azkaban文章目录⼯作流调度系统Azkaban第 1 节 概述1.1 ⼯作流调度系统1.2 ⼯作流调度实现⽅式1.3 Azkaban与Oozie对⽐第 2 节 Azkaban介绍第 3 节 Azkaban安装部署3.1 Azkaban的安装准备⼯作1 编译2 上传编译后的安装⽂件3.2 solo-server模式部署1 单服务模式安装2 单服务模式使⽤3.3 multiple-executor模式部署1 安装所需软件2 数据库准备3 配置Azkaban-web-server4 配置Az
2021-03-03 15:46:39
168
1
原创 3.4.2 HBase（安装部署、shell基本操作命令、读写流程原理、合并拆分机制、API客户端操作）
HBase文章目录HBase第⼀部分 初识 HBase第 1 节 HBase 简介1.1 HBase是什么1.2 HBase的特点1.3 HBase的应⽤第 2 节 HBase数据模型第 3 节 HBase整体架构第 4 节 HBase集群安装部署第⼀部分 初识 HBase第 1 节 HBase 简介1.1 HBase是什么HBase 基于 Google的BigTable论⽂⽽来，是⼀个分布式海量列式⾮关系型数据库系统，可以提供超⼤规模数据集的实时随机读写。接下来，通过⼀个场景初步认识HB
2021-03-01 18:24:07
277
原创 3.4.1 Zookeeper(环境搭建、数据结构与监听机制、命令及客户端连接操作、监听、分布式锁、Hadoop HA)
Zookeeper文章目录Zookeeper1. Zookeeper简介1.1 Zookeeper是什么？1.2 zookeeper的架构组成1.3 Zookeeper 特点2. Zookeeper环境搭建2.1 Zookeeper的搭建方式2.2 Zookeeper集群搭建3. Zookeeper数据结构与监听机制3.1 ZNode 的类型3.2 ZNode 的状态信息3.3 Watcher 机制4. Zookeeper的基本使用4.1 ZooKeeper命令行操作4.2 Zookeeper-开源客户
2021-02-26 17:52:07
262
原创 3.3.1交互式查询⼯具Impala(与Hive对比、安装、架构原理、语句、JDBC方式查询impala、负载均衡)
交互式查询⼯具Impala文章目录交互式查询⼯具Impala第 1 部分 Impala概述1.1 Impala是什么1.2 Impala优势1.3 Impala的缺点1.4 适⽤场景第 2 部分 Impala 安装与⼊⻔案例2.1 集群准备2.1.1 安装Hadoop,Hive2.1.2 准备Impala的所有依赖包2.2 安装Impala2.2.1 集群规划2.2.2 具体安装步骤2.3 Impala⼊⻔案例第 3 部分 Imapla的架构原理第 1 节 Impala的组件第 2 节 Impala的查
2021-02-24 00:00:12
259
原创 3.2.5 数据迁移工具 -- Sqoop
数据迁移工具 – Sqoop文章目录数据迁移工具 -- Sqoop第一部分 Sqoop概述第二部分 安装配置第三部分 应用案例第 1 节 导入数据importMySQL 到 Hive第 2 节 导出数据第 3 节 增量数据导入第 4 节 执行 job第一部分 Sqoop概述Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql等)间进行数据的传递。可以将关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导入到HDFS中
2021-02-07 10:39:54
187
1
原创 3.2.4 数据交互工具 -- HUE、数据采集工具 -- Flume
文章目录数据交互工具 -- HUE第一部分 Hue概述第二部分 Hue编译安装2.1、下载软件包2.2、安装依赖2.3、安装Maven2.4、编译2.5、修改 Hadoop 配置文件2.6、Hue配置2.7、启动 Hue 服务第三部分 Hue整合Hadoop、Hive3.1 集成HDFS、YARN3.2 集成Hive3.3 集成MySQL3.4 重启Hue服务数据采集工具 -- Flume第一部分 Flume概述第 1 节 Flume的定义第 2 节 Flume体系结构Flume架构中的组件第 3 节 F.
2021-02-07 10:20:11
910
原创 3.2.3 数据仓库工具 -- Hive(Hive调优、hive查询案例)
3.2.3 数据仓库工具 – Hive文章目录3.2.3 数据仓库工具 -- Hive十、 Hive调优策略第 1 节 架构优化执行引擎优化器分区表分桶表文件格式数据压缩第 2 节 参数优化本地模式严格模式JVM重用并行执行推测执行合并小文件第 3 节 SQL优化列裁剪和分区裁剪sort by 代替 order bygroup by 代替 count(distinct)group by 配置调整**map端预聚合****倾斜均衡配置项**join 基础优化1、common join2、map join
2021-02-04 11:05:32
410
1
原创 3.2.2 数据仓库工具 -- Hive(DQL命令group by ,表连接，排序、函数、DML命令事物、元数据管理存储)
3.2.2 数据仓库工具 – Hive文章目录3.2.2 数据仓库工具 -- Hive六、HQL操作之--DQL命令【重点】第 1 节 基本查询第 2 节 where子句第 3 节 group by子句第 4 节 表连接六、HQL操作之–DQL命令【重点】DQL – Data Query Language 数据查询语言select语法：创建表，加载数据-- 测试数据 /home/hadoop/data/emp.dat7369,SMITH,CLERK,7902,2010-12-17,8
2021-02-02 17:57:44
321
原创 3.2.1 数据仓库工具 -- Hive(安装配置、建库建表、数据导入导出)
3.2.1 数据仓库工具 – Hive文章目录3.2.1 数据仓库工具 -- Hive一、Hive概述1. Hive的优点2.Hive的缺点3.Hive架构二、Hive安装与配置2.1 Hive安装配置2.1.1、MySQL安装1、删除MariaDB2、安装依赖3、安装MySQL4、启动数据库5、查找root密码6、修改 root 口令7、创建 hive 用户2.1.2、Hive 安装1、下载Hive软件，并解压缩2、修改环境变量3、修改 Hive 配置4、拷贝 MySQL JDBC 驱动程序5、初始化
2021-02-01 15:48:09
542
原创 3.1.4 YARN资源调度、Apache Hadoop 核心源码剖析、调优、Hadoop二次开发
3.1.4 YARN资源调度、Apache Hadoop 核心源码剖析文章目录3.1.4 YARN资源调度、Apache Hadoop 核心源码剖析七、YARN资源调度7.1 Yarn架构7.2 Yarn任务提交(工作机制)7.3 Yarn调度策略7.4Yarn多租户资源隔离配置八、Apache Hadoop 核心源码剖析8.1 源码阅读准备8.2 NameNode 启动流程七、YARN资源调度7.1 Yarn架构ResourceManager(rm)：处理客户端请求、启动/监控Ap
2021-01-27 17:54:44
876
原创 3.1.3 MR算法扩展（MergeSort 归并排序、QuickSort-快排）
3.1.3 MR算法扩展文章目录3.1.3 MR算法扩展七、MR算法扩展7.1 MergeSort 归并排序7.2 QuickSort-快排七、MR算法扩展7.1 MergeSort 归并排序7.2 QuickSort-快排第一步从数组中选择一个轴点元素（Pivot element），一般选择0位置元素为轴点元素第二步利用Pivot将数组分割成2个子序列将小于 Pivot的元素放在Pivot前面（左侧）将大于 Pivot的元素放在Pivot后面（右侧）等于Pivo
2021-01-26 11:30:44
280
原创 3.1.2 HADOOP框架（MapReduce编程框架，序列化Writeable接口，Maptask并行度，ReduceTadk并行度，shuffle机制，排序，join,自定义读取、输出）
3.1.2 HADOOP框架文章目录3.1.2 HADOOP框架六、MapReduce编程框架6.1 MapReduce思想6.2 官⽅WordCount案例源码解析6.3 MapReduce编程规范及示例编写6.3.1 Mapper类6.3.2 Reducer类6.3.3 Driver阶段6.3.4 WordCount代码实现6.3.4.1 需求6.3.4.2 具体步骤六、MapReduce编程框架6.1 MapReduce思想MapReduce思想在⽣活中处处可⻅。我们或多或少都曾接触过这
2021-01-24 23:54:53
305
原创 3.1.1 HADOOP框架（分布式集群的搭建、启动，HDFS分布式文件系统）
3.1.1 HADOOP框架文章目录3.1.1 HADOOP框架四.Apache Hadoop 完全分布式集群搭建4.1 虚拟机环境准备4.2 集群规划4.3 安装Hadoop4.3.1 集群配置4.3.2 分发配置4.4启动集群4.4.1 单节点启动4.1.1 maven介绍四.Apache Hadoop 完全分布式集群搭建4.1 虚拟机环境准备三台虚拟机（静态IP，关闭防⽕墙，修改主机名，配置免密登录，集群时间同步）在/opt⽬录下创建⽂件夹mkdir -p /opt/lagou
2021-01-22 15:22:28
1254
1
原创 项目部署（Nginx、反向代理、负载均衡）
项目部署文章目录项目部署一、Nginx介绍及使用1.1 什么是nginx?1.2 应用场景1.3 Nginx安装1.4 配置虚拟主机1.5 反向代理1.6 负载均衡一、Nginx介绍及使用1.1 什么是nginx?Nginx是一款轻量级的 Web服务器 , 反向代理服务器 及 电子邮件代理服务器 。优点：占用内存少，并发能力强Nginx专为性能优化而开发, 在高连接并发的情况下，能够支持高达 50,000 个并发连接数的响应. 3. Nginx支持热部署, 可以在不间断服务的情况下,对
2021-01-06 00:33:23
500
原创 2.5.2.2 可视化项目（数据Echart可视化显示）
可视化项目案例（数据Echart可视化显示）文章目录可视化项目案例（数据Echart可视化显示）四、行业信息模块4.1 行业需求描述4.2 表结构分析4.3.统计各个城市招聘人数4.4.热门行业统计一、 需求分析与环境搭建1.1 需求分析1.1.1 需求分析四、行业信息模块4.1 行业需求描述从多个维度统计行业信息统计各个城市招聘人数,以饼状图方式展示个城市人数比例统计热门行业信息,以柱状图的方式展示前10个热门行业的招聘人数统计销售行业、服务业、生产制造行业招聘情况，使用面积图参考招
2021-01-02 16:48:50
710
原创 2.5.2.1 可视化项目案例(需求分析、环境搭建、用户登录登出、用户模块显示、分页、增删改)
可视化项目案例文章目录可视化项目案例一、 需求分析与环境搭建1.1 需求分析1.1.1 需求分析1.1.2 项目技术栈1.1.3 数据数据库设计2.环境搭建1.2.1 工程环境1.2.2 数据库环境1.2.3 项目结构1.2.4 项目框架搭建1.2.5 通用模块编写1.3.测试后台环境**1.3.1 测试目标1.3.2 测试方式二、 前台页面模块2.1.引入前台静态资源2.2.导航栏页面配置三 、用户模块3.1.接口说明3.2.用户表设计3.3.用户登录3.4 用户分页3.4.1 用户列表分页接口设计3
2021-01-01 22:19:50
1163
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人