自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 资源 (1)
  • 收藏
  • 关注

原创 Wordcount以及数据去重

WordCount入门实例1、处理过程WordCount:统计文本中每类单词的出现次数。1)将文件拆分成splits,由于测试用的文件较小,所以每个文件为一个split,并将文件按行分割形成<key,value>对。这一步由MapReduce框架自动完成,其中偏移量(即key值)包括了回车所占的字符数(Windows和Linux环境会不同)。偏移量:存储单元的实际地址与其所在段的段地址之间的距离2)将分割好的<key,value>对交给用户定义的map方法进行处理,生

2020-11-11 23:37:24 436

原创 哈哈怪的自我介绍

立志成为程序媛自我介绍年龄:19姓名:刘燕兴趣:看有关悬疑的一切,比如电影电视剧。像犯罪大师这个软件我很喜欢,最喜欢东野圭吾,喜欢他写的《嫌疑人X的献身》后来拍成电影,又看了好几遍。(扯得有点远)就在刚刚,我找表情包的时候我发现我的五百个表情包只剩一百多个了,腾讯可太坑了,就因为我没有充钱,我的表情包没了!!!!这个微笑有三分讥笑,三分薄凉,以及四分无奈。我辛辛苦苦攒了那么久的表情包,说没就没了。4.还是说说我要干啥吧,我想考个教师资格证,然后读研,然后工作,再然后等我成为富婆之后,(成为富

2020-09-11 21:07:58 221

原创 大数据专业认知实习作业

一:自我介绍二:对大数据的认识三:一个大数据的创意场景四:实习收获与感想自我介绍姓名:燕燕年龄:19性别:女职业:学生专业:大数据技术与数据科学爱好:唱歌羽毛球喜欢海绵宝宝的超级飞侠少女对大数据的认识 随着互联网的普及,为了满足人们搜索网络信息的要求,搜索引擎抓取了大量的信息,社交网络把分散的人群联系起来。电子商务在满足人们便捷购物的同时,收集了大量购物意愿以及购物习惯的数据,在2011年微信开始独立运行,标志着移动互联网时代的到来,各种海量数据在各行各业产生,形成了今天的大数

2020-07-18 13:50:56 5757

mapreduce.md

关于Hadoop中MapReduce的Wordcount以及数据去重的一点概括,不是太准确,我也还只是个初学者,不足之处请指正

2020-11-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除