程序员大航子

kafka集群安装 集群规划 本文使用的kafka版本为2.11 集群配置为：三个节点 kafka安装包地址：（链接永久有效，失效可以找博主索要） 链接：https://pan.baidu.com/s/1BQm99IyTSDThcRZHngWtRQ 提取码：1grs ps：安装kafka集群之前，请确保虚拟机中安装了zookeeper集群。 安装步骤 解压安装包 [atguigu@hado...

文章目录HDFS概述介绍应用场景适合的场景不适合的场景架构NameNode和DataNodeHDFS的副本机制和机架感知HDFS命令行使用HDFS的高级命令使用HDFS的文件限额配置数量限额空间大小限额hdfs的安全模式安全模式操作命令HDFS基准测试测试写入速度测试读取速度清除测试数据测试报告样例HDFS文件的写入过程HDFS文件的读取过程HDFS的元数据辅助管理FsImage和Edits详解f...

文章目录Hadoop简介和集群搭建Hadoop介绍Hadoop的发行版本和三大公司hadoop的架构安装Hadoop第一步：上传编译后的apache hadoop包并解压第二步：修改配置文件（七个）core-site.xmlhdfs-site.xmlhadoop-env.shmapred-site.xmlyarn-site.xmlmapred-env.shslaves第一台主机执行如下命令安装包的...

文章目录集群Linux环境搭建注意事项复制虚拟机修改mac地址和ip地址每台虚拟机修改对应的主机名配置域名映射关闭防火墙和SELinux关闭防火墙关闭selinux虚拟机免密码登录三台机器时钟同步安装JDKmysql的安装 集群Linux环境搭建 注意事项 1） windows系统下的所有关于VmWarw的服务都已经启动,五个服务。 2）确认好VmWare生成的网关地址 3）确认VmNet8网卡已...

大数据导论 大数据概念 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要更新处理模式才能处理的海量信息资产。 最小的基本单位是bit，按照顺序给出所有单位：bit byte KB MB GB TB PB EB ZB YB BB NB DB 进制都是1024 1Byte = 8bit 1K = 1024B ... 1D = 1024...

大数据前置知识 服务器基本介绍 服务器，是提供计算服务的设备。由于服务器需要响应服务请求，并进行处理，因此一般来说服务器应该具备承担服务并且保障服务的能力<br/> 在网络环境下，根据服务器提供的服务类型不同，分为文件服务器、数据库服务器、WEB服务器等<br/> 服务器的构成保罗处理器、硬盘、内存、系统总线等，和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此...

Zookeeper 概述 Zookeeper是一个开源的分布式协调服务框架, 主要用于解决分布式集群中应用系统的一致性问题和数据管理问题 特点 Zookeeper的本质上是一个分布式的文件系统，适合存放小文件，也可以理解成为一个数据库。 Zookeeper中存储的其实是一个又一个的Znode，Znode是Zookeeper中的节点。 Znode是有路径的，例如/data/host1 /...