Hadoop
文章平均质量分 83
Hadoop学习之路
上班学习,下班摸鱼
这个作者很懒,什么都没留下…
展开
-
大数据005-hadoop003-了解MR及Java的简单实现
将代码打包成jar文件FileInputFormat的为原始数据的输入路径FileInputFormat的为结果数据的输出路径setMapperClass、setReducerClass为指定要用的map类和reduce类setOutputKeyClass、setOutputValueClass为reduce函数的输出类型。原创 2024-04-25 11:45:43 · 309 阅读 · 4 评论 -
大数据004-hadoop002-数据
如果有1TB的硬盘,传输速度100MB/s,需要2.5小时读完。原创 2024-04-25 11:22:45 · 978 阅读 · 4 评论 -
大数据003-hadoop001-认识
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;原创 2024-04-18 16:06:24 · 712 阅读 · 1 评论