- 博客(3)
- 收藏
- 关注
RSS订阅原创 关于学习大数据的一些复盘
写在前面 我自己一直比较喜欢大数据这个方向的工作，虽然自己也在大数据相关的岗位上工作了小两年，但一直没有系统的学习过大数据相关的知识。说到自身经历，可能和大部分程序员一样，一直混迹于小公司，我从第一家公司离职的理由就是拖欠工资，那个时候又是刚毕业，手里没有一点积蓄，后来实在没办法只能离职求活路。不过很感谢第一家公司，在那是我进步最快的地方，我从事大数据岗位也是那家公司花钱让我去学习的。除了是小公司，其他的都很好，技术氛围很棒！第二家公司虽然比较大，但是属于项目外包型公司（虽然我所在的部门属于自研型，但还
2020-11-30 22:31:17
333
原创 Hadoop入门|HDFS分布式文件系统
一、HDFS概述1. HDFS产出背景及定义 HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS定义HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的
2020-11-30 20:07:17
277
原创 Hadoop入门|Hadoop简介及安装
一、 大数据简介1. 大数据的定义 ⼤数据是指⽆法在⼀定时间范围内⽤常规软件⼯具进⾏捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策⼒、洞察发现⼒和流程优化能⼒的海量、⾼增⻓率和多样化的信息资产。2. 大数据的特点 ⼤数据的特点可以⽤ IBM 曾经提出的 “5V” 来描述，如下：大量采集、存储和计算的数据量都⾮常⼤。大数据领域数据量基本上以PB为最小单位，而PB级数据量有多⼤？是怎样的⼀个概念？假如⼿机播放MP3的速度为平均每分钟1MB，⽽1⾸歌曲的平均时⻓为4分钟，那
2020-11-29 22:54:56
376
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人