- 博客(7)
- 收藏
- 关注
RSS订阅原创 Hadoop平台安装及运行————详细版搭建流程
如果已经存在/output 目录，就要先删除/output目录，再执行上述命令。另外，只要运行过 HDFS，Hadoop 的 工作目录（本书设置为/usr/local/src/hadoop/tmp）就会有数据，如果需要重 新格式化，则在格式化之前一定要先删除工作目录下的数据，否则格式化时会 出问题。上述安装完成的 Hadoop 软件只能让 root 用户使用，要让 hadoop 用户能够 运行 Hadoop 软件，需要将目录/usr/local/src 的所有者改为 hadoop 用户。
2024-04-24 20:37:12
6630
5
原创 Hive 组建安装配置
执行 mysql_secure_installation 命令初始化 MySQL 数据库，初始化过程中需要设定 数据库 root 用户登录密码，密码需符合安全规则，包括大小写字符、数字和特殊符号， 可设定密码为 Password123$。Hive 元数据存储在 MySQL 数据库中，因此在部署 Hive 组件前需要首先在 Linux 系统 下安装 MySQL 数据库，并进行 MySQL 字符集、安全初始化、远程访问权限等相关配置。MySQL 数据库是安装后随机生成的，所以每次安装后生成的默认密码不相同。
2024-04-08 13:12:11
816
原创 虚拟机中如何设置临时IP、永久IP、搭建yum仓库
目录一、如何配置永久ip. 2第一步：查看网卡信息... 2第二步：使用vi 命令修改网卡的配置文件... 2第三步：具体操作... 2二、如何配置临时ip. 41、查看网卡信息... 42、使用ifconfig命令为虚拟机配置临时ＩＰ... 43、具体操作命令：... 5方法一：... 5方法二：... 5三、 yum仓库镜像源... 51、查看镜像和连接状态... 52、测试yum仓库... 63、挂载镜像... 74、创建并配置仓库文件... 75、编辑配置仓库文件... 7（1）进入配
2024-03-20 17:15:02
1371
1
原创 关于Hadoop生态圈相关组件的介绍
"冷备"、"温备"和"热备"是备份和恢复策略中常见的术语，它们描述了在不同情况下备份数据的状态以及备份过程的准备程度。这些术语主要用于描述系统或数据的备份和恢复策略。冷备结构化数据和非结构化数据是大数据中的两种主要类型，它们在数据组织和处理方式上有所不同。结构化数据：结构化数据是按照固定模式和格式组织的数据，通常以表格形式存储在关系数据库或类似的数据存储系统中，具有明确定义的字段和数据类型。这使得结构化数据容易被查询、分析和处理。常见的结构化数据包括订单信息、客户信息、交易记录等。
2024-03-09 18:35:27
2248
原创 大数据 Hadoop
大数据不仅涵盖了结构化数据（如关系数据库中的数据），还包括半结构化数据（如XML、JSON等格式）和非结构化数据（如文本、图像、音频和视频）。例：社交媒体上的用户发表的帖子、评论和图片就是典型的非结构化数据。Flume日志收集工具：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；总的来说，结构化数据和非结构化数据之间的区别在于数据的组织形式、存储方式、处理方法和应用场景上的不同。
2024-03-03 22:15:39
616
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人