![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据导论作业
大数据一班付智祥
F_fffffff
这个作者很懒,什么都没留下…
展开
-
2021-11-04
机器学习 深度学习1.机器学习:机器学习一系列在数据集上进行训练的算法,来做出预测或采取形同从而对系统进行优化。根据给定任务的不同,用到的技术也不同。机器学习是让机器让人类一样思考和推理,基本上而言是指通过人工的方法来代替人类天生的自然只能,涉及的任务从简单到复杂都有。2.深度学习:当算法被用于自动化时,就被称为人工智能,也就是深度学习。也有的人认为是带有更多层的神经网络(一种机器学习技术)3.深度学习是非常流行的一种机器学习机器学习 数据科学1.机器学习中的学习一词表示算法依.原创 2021-11-04 21:07:42 · 540 阅读 · 0 评论 -
HDFS的block和切片(split)的区别
1.split是逻辑切片,是MapReduce里切片的概念, block是物理切片,是HDFS中切片的大小2.split的大小默认下等于block的大小3.block:文件被上传到HDFS是,会被分块,这是真实的物理上的划分,每块的大小可以设 split:他是逻辑意义上的split,用户根据自己处理的数据量的情况,自行设置4.split和block是一对多的关系1.当程序读取block0时,可以完整的读到第五行的完整数据2.block1的第四行数据被丢弃,直...原创 2021-10-31 14:12:08 · 320 阅读 · 0 评论 -
YARN的工作机制
原创 2021-10-31 11:58:05 · 67 阅读 · 0 评论 -
节点距离的计算
节点距离=两个节点到达最近的共同祖先的距离之和1.同一节点,距离=02.同一机架不同节点,距离=23.同一集群不同机架上的节点,距离=44.同一数据中心不同集群上的节点,距离=6原创 2021-10-31 01:05:14 · 180 阅读 · 0 评论 -
HDFS读数据流程
过程:1.客户端通过调用DFS系统对象中的Open()函数读取数据2.DFS通过调用名称节点确定请求文件所在的位置。(名称节点不会全部返回)3.客户端利用FSD的Read()读取数据4.FSD连接保存此文件第一个数据块的最近的数据节点,并读取数据,客户端多次调用Read(),直到到达数据块结束位置5.第一个块读取完毕时,DFSD会关闭连接,并查找存储下一个数据节点6.完成所有文件的读取后,DFSD调用Close()函数关闭数据流...原创 2021-10-30 23:51:42 · 139 阅读 · 0 评论 -
HDFS写数据流程
1.对文件采用“一次写多次读取”的模式2.过程: 1.客户端向名称节点请求写操作 2.名称节点确定客户端是否有权限以及有没有相同的文件正在写操作 3. 客户端对文件进行划分 4. 多个数据节点构成管道关系,以数据流的形式发送信息 5.每个数据流写完一个块儿会返回确认信息 6.完成数据写入操作后,关闭数据流...原创 2021-10-26 22:22:32 · 708 阅读 · 0 评论