![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
涛哥Hadoop
飞鸟与鹿
这个作者很懒,什么都没留下…
展开
-
Hadoop之MR处理数据基本流程
在启动程序中,FileInputFormat设置数据的输入路径,程序处理的是该路径中的所有文件,1、如何处理(1)、该路径中有几个文件就有几个map任务。(2)、在进行map任务之前,文件中的数据被一行一行的读,形成了K1:一行的起始位置,V1:行内容,这就是map任务被输入的K1,V1。(3)、行内容V1被一行一行的切割,切割的时候要将这行数据转化成String类型才能进行切割操作,切割后形成的是数组,对数组进行分类,又形成一对一对的K2,V2,将这些K2、V2写入(context.wri原创 2020-08-18 21:39:51 · 773 阅读 · 0 评论 -
Hadoop之HDFS上传下载文件、管理数据原理
一、上传文件原理(步骤)1、客户端请求namenode上传文件数据(包括文件大小、物理块大小、副本个数等);2、namenode接受到客户端的请求,校验权限、存储容量等信息,并分配元数据信息;3、客户端收到namenode的OK响应,客户端就开始请求上传第一块数据;4、namenode返回第一块数据的元数据信息给客户端;5、客户端和返回的元数据中的三台机器建立连接通道;6、返回OK给客户端;7、客户端本地输入流读取待上传文件的第一块数据内容(一边读取数据一边将数据转换成分布式原创 2020-08-16 21:36:40 · 1071 阅读 · 0 评论 -
大数据是什么?可以用来做什么?核心是什么?
它是什么它能用来做什么它怎么用它的工作原理是什么1、什么是大数据技术大数据技术是一门针对海量数据处理的编程技术核心技术:分布式存储、分布式运算2、大数据技术用来干嘛?电商:分析用户浏览、购物的行为,挖掘数据,分析规律,以便及时精准推送;金融:征信分析、运营分析。。。头条:提供更加个性化的内容推送服务。3、大数据技术的核心技术组件有哪些?Hadoop、spark、flink等技术生态。4、Hadoop是什么?它是一套大数据技术组件。5、Hadoop的原创 2020-08-12 21:33:23 · 3440 阅读 · 0 评论