大数据
文章平均质量分 94
initial- - -
学习一定要有明确的目标,可把学习划分为四大阶段:
了解他(探索与认知)、模仿他(汲取精华)、成为他(实践内化)、打败他(创新与超越)
—— 在巨人的肩膀上,眺望更远,超越巨人。
展开
-
大数据实验3: HDFS基础编程
,否则返回文件一行的文本。在 Hadoop 分布式文件系统(HDFS)中的作用是将本地文件系统中的文件 localfile 上传到 HDFS 上的目录 hdfsdir1 中。10、hdfs dfs -cat [path]:显示文件内容,如果路径是一个目录,则显示目录下所有文件的列表。3、hdfs dfs -put localpath hdfspath:将本地文件系统中的文件上传到HDFS。14、hdfs dfs -count [path]:显示指定路径下的文件或目录的详细信息,包括大小、数量等。原创 2024-10-18 20:58:15 · 670 阅读 · 0 评论 -
大数据实验2.Hadoop 集群搭建(单机/伪分布式/分布式)
1.1安装SSH服务端1.2免密登录设置四、总结(问题与收获)1、遇到的问题:SSH服务端安装和免密登录设置:在配置SSH服务端时,我遇到了权限问题,导致无法成功生成SSH密钥。通过查阅文档和咨询同学,我了解到需要使用sudo命令来获取必要的权限。Java环境变量配置:在设置JAVA_HOME和PATH环境变量时,我最初没有将它们添加到系统的环境变量中,导致在非JDK安装目录下无法识别Java命令。通过编辑.bashrc文件并重新加载配置,我成功解决了这个问题。原创 2024-09-21 19:19:30 · 1181 阅读 · 0 评论 -
大数据实验一: Linux系统安装和使用
9.1、使用sub22111303195发现权限不够:切换到root:which命令用于查找命令的位置,find命令用于在文件系统中搜索文件。9.2、总结查找命令以及用法:(1)、find:在文件系统中搜索文件或目录find [搜索路径] -name [文件名模式] # 按文件名查找find [搜索路径] -type d # 查找所有目录find [搜索路径] -type f # 查找所有文件find [搜索路径] -user [用户名] # 查找属于特定用户的文件。原创 2024-09-21 13:01:34 · 1042 阅读 · 0 评论