![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据导论
文章平均质量分 74
fenfyue
努力 勇敢 积累
展开
-
第三章大数据存储与管理
数据特征:巨大、非结构化、并行处理分布式文件系统 NoSQL数据库 分布式数据库 云数据3.2 分布式文件系统3.2.1分布式文件系统概念:文件系统管理的无物理存储资源不仅在本地节点上,还可以通过网络连接存储在非本地节点上,可解决备份、安全、可拓展等难题评价一个分布式文件系统因素:(1)数据的存储方式,即文件数据在各节点之间的分布策略(2)数据的读取速率(3)安全机制3.2.1.1 常见的分布式文件系统GFS、HDFS、lustre、cephhdfs:转为存储和管理超大数据原创 2021-02-06 16:05:15 · 3623 阅读 · 0 评论 -
第二章 大数据感知与获取
2.1引言数据代表着对事物的描述,对数据的记录能力是原式社会与先进社会的一个重要分界标志。数据被认为是信息时代的基础生活资料与市场要素,重要程度不亚于物质资产和人力资本。大数据的产生是计算机和网络通信技术发展的必然结果。2.2数据渠道2.2.1数据分布作为大数据分析师被问到的问题常有一下几种(1)我有这些数据,你能帮我做些什么?往往是有一定数据基础的甲方提问(2)我想做这些事,需要哪些数据?有一定IT建设基础的甲方出于目标产品定位而进行可行性研究时在数据层的慎思。(3)有了这些数据,还原创 2021-01-26 16:36:40 · 2918 阅读 · 0 评论 -
2021-01-25
读完了第一章,了解了一些皮毛,有一次想要放弃但是还是坚持下来啦!做了思维导图之后清晰多了原创 2021-01-25 11:35:10 · 166 阅读 · 2 评论 -
第一章 数据与大数据
大数据导论昨天出去玩了回来之后实在是太困太困了,早上看了一些内容,在晚上的时候电脑都准备打开来写写,但是就完全睁不开眼睛了,今天来补一下。这两次看的都还是一些概念性的问题,没有关于技术的,实在是有点好多,有点枯燥,但是了解到了一些我之前不知道的东西,其实也挺好。第一章 数据与大数据这一章讲的是一些关于数据的定义以及大数据所面临的一些挑战、从国家层面制定的一些将大数据运用到生活中的政策等问题。1.1数据---->大数据---->多边定义和理解出发(价值期望)不同的领域对于大数据有着不同的原创 2021-01-23 15:03:41 · 3186 阅读 · 0 评论 -
大数据导论
三天打鱼两天晒网——写CSDN博客大致看看大数据导论这本书这个假期被老师一问自己想学点什么结果我迷茫了不知道学点什么好,这本书在上课期间我就想好好好读一下,但是肯定是没有时间看的,现在正好不知道学点什么虽然说是大数据专业的孩儿,但是这么久了我还是对我们专业没有太多的了解,总是感觉这样子是挺失败的一个大数据er。这个假期每天写博客的flag在前天就立了,但是都没有写,在今终于打开了它!内容是有点多哈,反正自己就是一个小白了,多看看总没错。关于本书编写背景大数据的蓬勃发展,大数据领域人才的需求越来越大原创 2021-01-21 20:40:57 · 1843 阅读 · 0 评论