大数据项目学习
文章平均质量分 87
学不会K8S不改ID
一切如愿!
展开
-
【大数据项目学习】第十二章:Kafka 集群安装部署
第十二章:Kafka 集群安装部署一个初学者的大数据学习过程文章目录第十二章:Kafka 集群安装部署1. 下载2. 解压3. 修改配置文件4. Kafka 安装目录同步5. 再次修改 server.properties6. 创建日志目录7.Kafka 集群启动与测试8.Kafka 集群监控1. 下载Kafka 版本选择:Flume 对 Kafka 版本的要求:http://flume.apache.org/FlumeUserGuide.html#kafka-sinkSpark 对 K原创 2021-02-05 11:30:37 · 120 阅读 · 0 评论 -
【大数据项目学习】第十一章:Kafka消息系统
第十一章:Kafka消息系统一个初学者的大数据学习过程文章目录第十一章:Kafka消息系统1. Kafka是什么2. Kafka在Linked In的应用3. Kafka设计目标4. Kafka特点5. Kafka在生态圈中的位置6. Kafka系统架构组成6.1 Broker6.2. Topic6.3. Partition6.4 Offset6.5 Replica6.6 Message6.7 Producer6.8 Consumer:6.9 Consumer Group6.10 Zookeeper7原创 2021-01-28 12:34:06 · 187 阅读 · 1 评论 -
【大数据项目学习】第十章:HBase分布式集群部署与设计
第十章:HBase分布式集群部署与设计一个初学者的大数据学习过程文章目录第十章:HBase分布式集群部署与设计1. HBase安装前须知1.1 必备条件1.1.1 硬件1.1.2 软件1.2 运行模式2. HBase安装部署2.1 集群规划2.1.1 主机规划2.1.2 软件规划2.1.3 用户规划2.1.4 目录规划2.2 HBase 安装步骤2.2.1 下载2.2.1 解压2.2.1 创建软连接2.2.1 修改配置文件2.2.1 添加 hdfs 配置文件2.2.1 同步 HBase 安装目录2.2原创 2021-01-26 11:57:21 · 267 阅读 · 0 评论 -
【大数据项目学习】第九章:HBase数据库
第九章:HBase数据库一个初学者的大数据学习过程文章目录第九章:HBase数据库1. HBase简介1.1 是什么1.2 生态圈中的位置1.3 特点1.4 数据模型1.5 物理模型2. HBase系统架构2.1 Zookeeper2.2 Master2.3 RegionServer3. HBase实际应用案例1. HBase简介1.1 是什么HBase是构建在HDFS之上的分布式列存储数据库,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可以在廉价PC Serv原创 2021-01-22 13:46:37 · 279 阅读 · 0 评论 -
【大数据项目学习】第八章:Eclipse与MapReduce集成开发
第八章:Eclipse与MapReduce集成开发一个初学者的大数据学习过程文章目录第八章:Eclipse与MapReduce集成开发1. JDK 安装1.1 下载并解压 JDK1.2 配置 jdk 环境变量1.3 验证 jdk 是否安装成功2. 安装 Eclipse3. Maven 安装3.1Maven 下载3.2 解压 Maven 安装包3.3 配置 maven 环境变量3.4 测试 maven4.Eclipse 配置 maven4.1 打开 Eclipse 点击 window>prfere原创 2021-01-20 14:32:23 · 151 阅读 · 0 评论 -
【大数据项目学习】第七章:MapReduce分布式计算框架
第七章:MapReduce分布式计算框架一个初学者的大数据学习过程文章目录第七章:MapReduce分布式计算框架1. MapReduce概述1.1 产生背景1.2 定义1.3 优缺点1.4 基本设计思想2. MapReduce编程模型3. Wordcount 案例分析1. MapReduce概述1.1 产生背景MapReduce 源之于Google的MapReduce论文。 2004年12月份,谷歌发表了关于分布式计算框架MapReduce的论文。 Nutch的开发人员根据该论文实原创 2021-01-19 13:34:44 · 645 阅读 · 0 评论 -
【大数据项目学习】第六章:YARN:一种新的Hadoop资源管理器(详述及部署)
第六章:YARN:一种新的Hadoop资源管理器一个初学者的大数据学习过程文章目录第六章:YARN:一种新的Hadoop资源管理器1. YARN 概述1.1 YARN是什么?1.2 YARN在生态圈中的位置1.3 YARN与MapReduce关系2. YARN系统架构2.1 ResourceManager2.2 NodeManager2.3 ApplicationMaster2.4 Container3. MapReduce ON YARN4. YARN HA(高可用)5. YARN 安装部署5.1原创 2021-01-17 12:29:20 · 361 阅读 · 1 评论 -
【大数据项目学习】第五章:HDFS分布式文件系统(详述及部署)
第五章:HDFS分布式文件系统(详述及部署)一个初学者的大数据学习过程文章目录第五章:HDFS分布式文件系统(详述及部署)1.HDFS概述1.1 定义1.2 特点2.HDFS体系结构2.1 Client2.2 NameNode2.3 DataNode2.4 Block(数据块)2.5 元数据2.6 命名空间镜像(FSlmage)2.7 镜像编辑日志(EditLog)3.HDFS HA (高可用)3.1 HDFS HA-Namenode HA工作原理3.2 HDFS HA-ZKFailoverContr原创 2021-01-15 12:49:11 · 358 阅读 · 0 评论 -
【大数据项目学习】第三章:集群节点 JDK 安装
第三章:JDK 安装一个初学者的大数据学习过程文章目录第三章:JDK 安装1. 下载 JDK2. 解压 JDK3. 创建软连接3.4 配置环境变量3.4.1 修改/etc/profile 文件3.4.2 修改.bashrc 文件3.5 source 使配置文件生效3.6 检查 JDK 是否安装成功3.7 JDK 安装包同步到其他节点1. 下载 JDKZookeeper 是由 Java 编写,运行在 JVM,所以需要提前安装 JDK 运行环境。可以到官网下载对应版本的 jdk,这里选择安装 j原创 2021-01-14 14:24:36 · 158 阅读 · 1 评论 -
【大数据项目学习】第四章:Zookeeper(详述及部署)
第三章:Zookeeper(详述及部署)一个初学者的大数据学习过程文章目录第三章:Zookeeper(详述及部署)1.Zookeeper概述-是什么2.Zookeeper特点2.1 最终一致性2.2 可靠性2.3 实时性2.4 等待无关(wait-free)2.5 原子性2.6 顺序性3.Zookeeper在生态圈的位置4.Zookeeper系统架构4.1 概述4.2 角色4.3 数据读写流程4.3 工作原理4.4 服务(Znode)5.Zookeeper集群部署5.1 安装模式5.2 安装步骤5.2原创 2021-01-13 13:58:02 · 284 阅读 · 0 评论 -
【大数据项目学习】第二章:集群节点准备3
第二章:集群节点准备3一个初学者的大数据学习过程文章目录第二章:集群节点准备310.openssh-clients 服务10.1 安装 openssh-clients 服务10.2 测试 ssh 命令11.主机名与 IP 映射12.SSH 免密码登录12.1 明确目标用户12.2 创建.ssh 目录12.3 生成秘钥12.4 将公钥 copy 到认证文件12.5 为.ssh 赋予权限12.6 验证 ssh 免密码登录13.FileZilla 工具使用13.1 下载安装 FileZilla13.2 Fi原创 2021-01-12 20:36:06 · 1133 阅读 · 4 评论 -
【大数据项目学习】第二章:集群节点准备2
第二章:集群节点准备2一个初学者的大数据学习过程文章目录第二章:集群节点准备25.Linux 静态 IP 配置5.1 修改网卡信息:5.2 修改网卡信息之后,需要重启网络服务5.3 重启网络后,通过 ifconfig 查看网络配置5.4 测试运行6.X-Shell 工具使用6.1 下载安装 X-Shell 远程连接工具6.2 X-Shell 远程连接 Linux 虚拟机6.3 打开 X-Shell 工具6.4 然后选择 Authentication,配置用户名和密码6.5 在 Sessions 对话框原创 2021-01-12 13:35:59 · 253 阅读 · 0 评论 -
【大数据项目学习】第二章:集群节点准备1
第二章:集群节点准备1一个初学者的大数据学习过程文章目录第二章:集群节点准备1一、Vmware虚拟机介绍与安装1.虚拟机介绍1.1 虚拟机是什么?1.2 如何搭建虚拟机?1.3 虚拟化软件有哪些以及该如何选择?2.VMware 虚拟机安装2.1VMware 下载2.2VMware 安装2.2.1 安装2.2.2 选择安装类型2.2.3 选择安装的功能2.2.4 workstation Server 组件配置2.2.5 软件更新二、Linux系统介绍与安装3.Linux系统介绍与安装3.1Linux 操原创 2021-01-10 18:58:13 · 376 阅读 · 3 评论 -
【大数据项目学习】第一章:项目需求分析与设计
第一章:项目需求分析与设计一个初学者的大数据学习过程文章目录第一章:项目需求分析与设计前言一、项目需求分析项目业务需求二、系统架构设计三、数据流程设计四、集群角色规划前言以大数据实战项目为主线,理论和实战相结合,全方位、全流程、无死角的大数据项目的项目需求分析、技术选型、架构设计、集群规划、安装部署、项目离线分析、项目实时分析以及大数据数据可视化。一、项目需求分析【用户日志分析系统】项目业务需求采集用户海量浏览日志信息。实时统计分析TopN用户浏览最高的新闻话题。实时统计分析已原创 2021-01-10 18:19:24 · 731 阅读 · 0 评论