hadoop
天龙八部-鸠摩智
这个作者很懒,什么都没留下…
展开
-
一起hadoop(二)HDFS的文件上传
HDFS几个API的使用 都加了注释。将文件上传至HDFS,并在控制台打印出HDFS文件管理系统中的每个文件的路径。补充一下 :上传就会有读取都是简单的API的调用。...原创 2018-07-10 16:35:18 · 257 阅读 · 0 评论 -
一起hadoop(二) 流写出文件并上传至HDFS
文件写出至本地并且上传至HDFS文件系统中。将5000份文件写入本地,并且上传至HDFS,接下来的事情应该是继续读取HDFS中的数据然后进行分析。原创 2018-07-10 16:45:27 · 671 阅读 · 0 评论 -
hadoop是什么?我来试试
刚刚进行了解,目前市面上的资料应该也不少,每个人的理解多少都会有些偏差,真理也就是用来被推翻的。记录下小僧几个务虚的笔记很简洁部署模式:严格上来分应该为四类,大都分为3类1:本地模式 2:伪分布模式 3:完全分布式模式 4:HA完全分布式模式区分依据:运行在几个JVM进程、几台机器。MapReduce(分布式计算,并行编程模型与执行框架)核心操作:map和...原创 2018-07-04 18:32:05 · 206 阅读 · 0 评论 -
一起hadoop(一)
MapReduceMapReduce的工作过程分为两个阶段,map和reduce,每一个阶段都是有键值对作为输入和输出且它们的类型是由我们自己选择的,还需要实现两个函数 :map和reduce像上一篇文章中的例子,map函数很简单,就是基本的数据准备,建立起数据,然后呢?然后就交给reduce在此基础上来工作处理数据了啊。...原创 2018-07-05 15:59:19 · 178 阅读 · 0 评论 -
一起hadoop(三)关于合并块split
需求:分析页面中是否包含关键字。并返回页面的路径地址及名称首先:上传文件至HDFS,这一步看上一篇已经OK的。接下来要做的事情,不只是查询几个单词的事情了。要做的事情:1.文件夹的读取。 2.页面内容的读取 3.匹配 4....原创 2018-08-15 15:45:38 · 384 阅读 · 0 评论