大数据
文章平均质量分 66
大数据相关内容
leezsj
这个作者很懒,什么都没留下…
展开
-
hdfs--
HDFS 是一个分布式的文件系统 我们可以用命令来访问系统的文件 - 访问HDFS的命令 hadoop dfs -- 已过时 hadoop fs -- 使用范围更大 hdfs dfs -- 使用范围较小 hadoop fs和hdfs dfs之间没有大的区别 - 技巧 1.在命令行中输入hdfs ,回车后可以提示hdfs后可以使用哪些命令 2.hdfs dfs,回车后会提示dfs 可以添加的一些常用shell命令 - 注意事项 分布式文件系统的路径原创 2021-07-31 16:25:11 · 820 阅读 · 0 评论 -
hadoop介绍
hadoop是apache基金会旗下的一个开源的分布式存储和分析的计算平台,使用java语言开发,有很好的跨平台性,可以运行在商用(廉价)硬件上,用户不需要了解费不是底层细节,就可以开发分布式程序,充分使用集群的高速计算和存储 谷歌三篇论文 2003年的<GFS> 硬盘不够大数据储存单份的安全隐患问题,提出分布式文件系统存储的理论思想 解决如何存储大数据集的问题 2004年的<MapReduce> 基于分布式的计算分析编程框架模型,移动计算而非移动数据,分而治之 解决了转载 2021-07-31 10:22:43 · 252 阅读 · 0 评论