- 博客(6)
- 收藏
- 关注
RSS订阅原创 伪分布式hadoop+spark+scala 超详细搭建
能够正常显示 Java 版本则说明 JDK 安装并配置成功修改配置文件为jdk的安装路径。
2024-04-28 01:54:19
427
3
原创 大数据平台运维
另外，只要运行过 HDFS，Hadoop 的 工作目录（本书设置为/usr/local/src/hadoop/tmp）就会有数据，如果需要重 新格式化，则在格式化之前一定要先删除工作目录下的数据，否则格式化时会 出问题。读者需要关注是否在登录过程中是否需要输入密码，不需要输入密码才表示通过密钥认 证成功。执行如下命令，将输入数据文件复制到 HDFS 的/input 目录中： [hadoop@master hadoop]$ hdfs dfs -put ~/input/data.txt /input。
2024-04-22 18:42:06
1591
1
原创 Hive组建安装配置
opt/software/apache-hive-2.0.0-bin.tar.gz 路解压到/usr/local/src 路径下。
2024-04-08 15:57:34
1464
原创 月光族必学讨饭技巧，超实用后悔没早点发现
Spark是加州大学伯克利分校AMP实验室开发的通用大数据处理框架。其生态系统也称为BDAS，力图在算法（Algorithms）、机器（Machines）和人（People）三者之间通过大规模集成来展现大数据应用的一个开源平台。Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集。Spark具有运行速度快、易用性好、通用性强和随处运行等特点。
2024-03-08 11:34:57
1494
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人