- 博客(6)
- 收藏
- 关注
RSS订阅
4原创 一看就会hive的安装
Hive 元数据存储在 MySQL 数据库中，因此在部署 Hive 组件前需要首先在 Linux 系统。因此，在安装Hive组件前，需要确保Hadoop系统能够正常运行。在hive-site.html修改配置，使其能实现hive连接mysql并设定hive临时文件储存路径。1.在root用下，将Hive安装包解压到/usr/local/src路径下。（1）修改mysql数据库配置（#在/etc/my.conf文件中）1.将mysql数据库驱动拷贝到hive安装目录的lib下。2.是否使用设定的密码 y。
2024-04-08 22:33:55
390
原创 将心动的信号告诉她
yum是基于RPM包构建的软件更新机制，能够自动解决软件包之间的依赖关系。yum仓库和客户端组成，也就是整个yum由两部分组成，所有yum可以存放在两台服务器上，也可以存放在一台服务器上，可以有官方来提供服务，也可以由第三方来提供，比如国内的阿里云，搜狐云，还有一些非营利组织比如学校等。官方源一般在国外，下载速度肯定有限，手动更改成国内的云可以大幅提升下载速度。软件仓库的提供方式：网络源- ftp服务：ftp：//...- http服务：http：//...本地源。
2024-03-15 21:54:28
1107
原创 瞅瞅MapReduce和Spark两个帅boys
（1）：MapReduce模型提供了简单的接口，使得开发人员可以轻松地编写分布式程序。这种模型隐藏了并行处理、容错和负载均衡等复杂细节，让程序员专注于业务逻辑的实现。（2）：当计算资源不足时，可以通过增加机器来扩展计算能力。基于MapReduce的分布式计算的特点是可以随节点数目增长保持近似于线性的增长，这个特点是其处理海量数据的关键所在。（3）：MapReduce设计的初衷就是使程序能够部署在廉价的PC机器上运行，这就要求它具有很高的容错性。
2024-03-13 21:49:07
971
原创 一点点大数据的基本内容
(6)Hadoop安全管理和数据治理工具：包括Apache Ranger、Apache Atlas和Apache Knox等，用于Hadoop集群的安全管理和数据治理。(3)Hadoop数据集成和工作流管理工具：包括Apache Sqoop、Apache Flume和Apache Oozie等，用于数据的导入、导出和工作流的管理。2.多样性:大数据包括多种类型的数据，如：结构化数据、半结构化数据和非结构化数据，这些数据不仅包括数字和文字，还包括音频、视频、图片和地理位置信息等。
2024-03-07 10:13:23
405
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人