大数据学习之旅
分享自己学习大数据的笔记和心得
找个借口安静
一个平凡的编程手艺人
展开
-
大数据开发初学者学习路线
目录 前言 导读: 第一章:初识Hadoop 第二章:更高效的WordCount 第三章:把别处的数据搞到Hadoop上 第四章:把Hadoop上的数据搞到别处去 第五章:快一点吧,我的SQL 第六章:一夫多妻制 第七章:越来越多的分析任务 第八章:我的数据要实时 第十章:牛逼高大上的机器学习 目录最近看到一篇很不错的文章,献给正在学习大数据...转载 2018-10-06 21:59:54 · 1208 阅读 · 0 评论 -
开源工具介绍(大数据关键技术)
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011380972/article/details/80716964 在介绍大数据关键技术之前,先给出一张Hadoop大数据应用生态中最主要的组件图,该图描述了这些组件的地位,以及它们之间的相互关系。 图1.Hadoop大数据应用生态组件及其关系HDFS(Hadoo...转载 2018-10-06 09:10:30 · 609 阅读 · 0 评论 -
大数据工程师必备技能
版权声明: https://blog.csdn.net/laomo_bible/article/details/79582023引用几张图片:包括基本技能和高阶能力:基本技能:1、java、python、R等基本语言2、编程能力3、框架、平台的运用,如Hadoop、Spark等高阶能力:1、机器学习及各种算法2、架构设计能力3、云计算基本能力...转载 2018-10-02 12:04:08 · 1169 阅读 · 0 评论 -
大数据学习路线图
一、入门准备1、linux操作基础1) Linux的介绍,Linux的安装:VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程2) Linux的常用命令:常用命令的介绍、常用命令的使用和练习(文件操作、用户管理与权限、免密登陆配置与网络管理)3) Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用;4) L...转载 2018-10-02 11:18:43 · 2356 阅读 · 0 评论 -
学习hadoop需要具备的基础知识
首先整体上了解Hadoop,包括hadoop是什么,能够做什么,使用场景等,不需要考虑细节问题。在有了整体上的了解后,就开始准备系统地学习hadoop。建议:勿一味学习理论知识,要注意理论与实践相结合。在实际操作中查缺补漏,提高针对性、目的性。总的来说,学习hadoop需要具备:linux 1、熟练操作linux常用命令以及网络配置; 2、熟悉用户以及权限管理操作; 3、熟悉软...转载 2018-08-02 11:26:09 · 493 阅读 · 0 评论 -
Hadoop基础(一)
Hadoop由分布式存储HDFS和分布式计算MapReduce两部分组成。 HDFS是一个master/slave的结构,就通常的部署来说,在master上只运行一个Namenode,而在每一个slave上运行一个Datanode. MapReduce是Google的一项重要技术,它是一个编程模型,用以进行大数据量的计算。MapReduce的名字源于这个模型中的两项核心操作:Map...原创 2018-07-24 09:51:57 · 223 阅读 · 0 评论