大数据学习之路
文章平均质量分 76
探索无尽的数据宝藏
上班学习,下班摸鱼
这个作者很懒,什么都没留下…
展开
-
大数据005-hadoop003-了解MR及Java的简单实现
将代码打包成jar文件FileInputFormat的为原始数据的输入路径FileInputFormat的为结果数据的输出路径setMapperClass、setReducerClass为指定要用的map类和reduce类setOutputKeyClass、setOutputValueClass为reduce函数的输出类型。原创 2024-04-25 11:45:43 · 309 阅读 · 4 评论 -
大数据004-hadoop002-数据
如果有1TB的硬盘,传输速度100MB/s,需要2.5小时读完。原创 2024-04-25 11:22:45 · 978 阅读 · 4 评论 -
大数据003-hadoop001-认识
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;原创 2024-04-18 16:06:24 · 712 阅读 · 1 评论 -
大数据002-知识体系总览
在当今信息化社会,大数据已经成为推动各行各业发展的关键因素。掌握大数据技能,无疑将为个人的职业发展带来巨大的推动力。那么,如何有效地学习大数据呢?下面,我们将为您详细解读大数据学习的路线,帮助您从入门到精通,掌握大数据的核心技能。一、基础知识储备在学习大数据之前,我们需要具备一定的基础知识。这包括数学基础(如线性代数、概率论与数理统计)、编程基础(如Python、Java等编程语言)以及数据库基础(如SQL语言)。这些基础知识将为后续的大数据学习奠定坚实的基础。二、大数据核心技术学习。原创 2024-04-18 14:42:30 · 283 阅读 · 2 评论 -
大数据001-前言
因此,在学习之前,我们需要根据自己的兴趣和职业发展规划,选择适合自己的学习方向。其次,我们需要掌握大数据学习的基础知识和技能。此外,还需要了解大数据的基本概念和原理,如分布式系统、云计算、数据仓库等。这些基础知识和技能是后续学习的基础,也是大数据从业者必备的基本素养。理论学习只是大数据学习的一部分,更重要的是通过实践来掌握技能。因此,我们需要保持持续学习的态度,不断更新自己的知识和技能。只要我们保持热情和耐心,不断学习和实践,就一定能够探索到无尽的数据宝藏,成为大数据领域的佼佼者。原创 2024-04-18 11:24:52 · 381 阅读 · 1 评论