- 博客(10)
- 收藏
- 关注
RSS订阅原创 【大数据】Sqoop数据采集工具
Sqoop介绍(数据采集工具)sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的HDFS、HIVE中导出数据到关系数据库mysql等。
2024-10-11 20:17:53
1913
原创 【大数据】一篇认识Hive
文章目录一、数据仓库1.1、数据仓库概念1.2、数据仓库核心特征1.3、数据库和数据仓库的区别1.4、数据仓库分层架构[**重要**]1.5、ETL和ELT二、Apache Hive2.1、Hive的概念2.2、Hive的架构组件(非常重要)2.3、Hive和Mysql的区别三、Hive安装3.1、Metadata、metastore3.2、Hive的安装部署模式3.3、Hive的远程模式部署安装3.3.1、安装Hadoop3.3.2、安装MySQL3.3.3、安装Hive (==选择node1安装==)四
2024-10-09 19:24:15
2804
原创 【大数据】深入了解Hadoop
hdfs的元数据两个部分内存上的元数据在服务运行期间,所有的元数据会先存储在内存上文件信息,datanode信息,块信息元数据文件为了避免内存上的元数据丢失,会将内存的上的元数据保存在磁盘上secondarynamenode完成元数据文件的保存存储位置在hadoop的指定数据edits_xxxxx 编辑日志文件,记录所有的文件操作信息fsimage_xxxxx 镜像文件,保存了元数据内容 文件和块内容datanode会汇报自身状态给NameNode,默认是3秒。
2024-09-18 10:39:18
10657
1
原创 【大数据】Zookeeper分布式协调服务入门
ZooKeeper采用的是推拉相结合的方式：客户端向服务器注册自己需要关注的节点，一旦该节点的数据发生改变，那么服务端就会向相应的客户端发送Watcher事件通知，客户端接收到消息通知后，需要主动到服务端获取最新的数据。的方式管理(增删改查)数据,节点会形成层级结构,有父节点和子节点.每个节点有对应的名称,数据最终是存储在节点上,每个节点最多存储1M的数据. zk默认有一个顶层根节点,所有节点都要在根节点下创建。永久节点 客户端退出后数据节点会依然存在 默认创建的节点就是永久节点。
2024-09-03 08:09:55
681
原创 日志采集组件【大数据】-- Flume、Logstash、Filebeat
Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个一个agent所连接起来形成。source: 采集源，用于跟数据源对接，以获取数据channel：agent内部的数据传输通道，用于从source传输数据到sinksink：传送数据的目的地，用于往下一级agent或者最终存储系统传递数据logstash是基于pipeline方式进行数据处理的，pipeline可以理解为数据处理流程的抽象。
2024-08-29 23:55:26
755
原创 一篇学习Java
文章目录1、高级语言运行机制2、Java历史3、Java版本4、Java特点5、Java环境搭建6、第一个Java程序==以下都在idea中敲正式进入代码阶段==一、注释&分割符&关键字&标识符&变量二、数据类型&数据类型转换三、运算符&键盘录入四、流程控制五、数组与面向对象六、API[==重点==]七、集合八、Lambda表达式九、JDBC编程&多线程&Maven十、 Maven的安装1、高级语言运行机制1：解释型语言 — 每次运行源代
2024-08-29 22:25:09
248
原创 Linux
硬件与软件计算机是由: 硬件和软件所组成。硬件:计算机系统中由电子，机械和光电元件等组成的各种物理 装置的总称。软件:是用户和计算机硬件之间的接口和桥梁，用户通过软件与 计算机进行交流而操作系统就是软件的一类操作系统操作系统是计算机软件的一种，它主要负责:作为用户和计算机硬件之间的桥梁，调度和管理计算机硬件进行工作而计算机如果没有操作系统，就是一堆无法使用的塑料而已。
2023-05-28 20:55:15
105
1
原创 MySQL安装与卸载
压缩包解压将MySQL软件包解压在没有中文和空格的目录下解压后会生成一个文件夹，双击文件夹里后缀名为MSI文件添加环境变量验证是否安装成功。
2023-04-24 14:00:31
164
2
原创 LinuxVI文本编辑器（快速上手）
使用方式一、概述vi是visual interface的简称,是Linux中最经典的文本编辑器vi的核心设计思想: 让程序员的手指始终保持在键盘的核心区域 就能完成所有编辑操作vi的特点:只能是编辑文本内容,不能对字体段落进行排版；不支持鼠标操作；没有莱单；只有命令。
2023-04-05 17:38:49
139
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人