![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 83
大数据相关组件
小贾嗯嗯
面向对象面向君,不负代码不负卿
展开
-
什么?你还不会搭建大数据集群吗
大数据集群配置一、组件版本二、JDK1、解压2、配置环境变量`/etc/profile`3、分发到另外两个节点三、Hadoop完全分布式部署1、解压2、配置环境变量`/etc/profile`3、配置文件4、分发到另外两个节点5、启动hadoop集群四、Hive1、解压2、配置环境变量`/etc/profile`3、配置文件4、将mysql驱动复制到hive/lib下5、初始化元数据库6、启动Hive五、Zookeeper1、解压2、配置环境变量`/etc/profile`3、配置文件4、分发到另外两个节点原创 2021-10-22 19:09:39 · 551 阅读 · 0 评论 -
学数据仓库,看这篇文章就够了
Hive数据仓库一、数据仓库基础1、概念2、特点效率足够高数据质量扩展性3、数据模型二、Hive数据仓库1、概念2、优点3、缺点4、Hive体系结构及执行流程4.1、Hive体系结构4.2、Hadoop集群4.3、驱动器4.4、用户接口4.5、元数据存储4.6、Hive表与元数据的映射关系4.7、Hive执行流程5、Hive数据仓库和数据库比较三、Hive环境搭建1、MySQL安装及配置2、Hive安装及配置2.1、安装2.2、配置2.3、log日志配置四、Hive基础1、Hive数据类型2、Hive数据存原创 2021-10-01 20:45:21 · 1096 阅读 · 0 评论 -
大数据学习(四) kafka安装配置
大数据学习(四)kafka安装配置概述定义消息队列好处消息队列的两种模式kafka安装配置解压配置启动集群kafka命令行操作查看当前服务器中所有topic创建topic删除 topic发送消息消费消息kafka API异步发送API导入依赖编写代码同步发送API自动提交offset导入依赖编写代码手动提交offset同步提交offset异步提交offset自定义存储offset自定义Interceptor增加时间戳拦截器统计发送消息成功和发送失败消息数,并在 producer 关闭时打印这两个计数器pro原创 2021-09-06 23:00:06 · 232 阅读 · 0 评论 -
大数据学习(三) zookeeper安装配置
大数据学习(三)zookeeper配置概述特点数据结构选举机制节点类型安装配置zookeeper解压配置启动命令行操作API操作添加pom依赖创建zookeeper客户端创建子节点判断znode是否存在概述Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。(什么?你说看不懂。我也看不懂 那么往下看吧)Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,原创 2021-08-03 09:09:04 · 265 阅读 · 0 评论 -
大数据学习(二) 搭建hadoop集群
大数据学习(二) 搭建hadoop集群JDK安装hadoop安装解压配置环境变量修改配置文件分发目录格式化namenode启动hadoop集群体验hdfsJDK安装先创建两个目录mkdir -p /opt/modulemkdir -p /opt/software我们把jdk和hadoop安装包上传到software目录里tar -zxvf jdk-8u161-linux-x64.tar.gz -C /opt/module/# x : 从 tar 包中把文件提取出来# z : 表示 tar原创 2021-07-31 15:33:39 · 205 阅读 · 0 评论 -
大数据学习(一) 搭建大数据集群
大数据学习(一)搭建大数据集群新建虚拟机网络配置关闭防火墙SSH免密配置新建虚拟机打开vmware,新建虚拟机典型安装稍后安装操作系统我这里用的是CentOS-7-x86_64-Minimal-1708,所以选择CentOS7选一个位置进行安装这里可以默认点击自定义硬件我们添加一下镜像文件内存和处理器核数想改也可以改一下开启虚拟机安装按下enter键这里安装过程的语言选中文这里可以默认,主机名和网络可以安装好再进行修改设置下root密码,如果密码太原创 2021-07-31 08:48:22 · 1482 阅读 · 0 评论 -
一篇文章教你学会shell
一篇文章教你学会shell1、什么是Shell?2、第一个shell脚本(1)作为可执行程序(2)作为解析器参数3、多命令操作4、shell中的变量(1)系统变量(2)自定义变量定义变量撤销变量声明静态变量全局环境变量(3)特殊变量5、运算符6、条件判断(1)两个整数比较(2)按照文件权限进行判断(3)按照文件类型进行判断(4)多条件判断7、流程控制8、shell函数1、什么是Shell?Shell 是一个用 C 语言编写的程序,它是用户使用 Linux 的桥梁。Shell 既是一种命令语言,又是一种程原创 2021-07-26 23:44:15 · 196 阅读 · 0 评论