自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 资源 (6)
  • 收藏
  • 关注

原创 MapReduce job 如何实现全局共享数据

MapReduce job 如何实现全局共享数据背景:在写MR的时候,经常会遇到这样一种情况,如何在将参数传递给map或reduce已进行下一步的处理。这时候就涉及到了全局变量。但是在MapReduce中直接使用代码的全局变量是不可行的,因为Map和Reduced在集群上都是独立运行的,并不共享同一个java虚拟机资源,那怎么办呢?有三种方法可以实现(1)读写HDFS文件(不常用)优点:支持读写,...

2018-05-30 20:59:12 1242

转载 Hash(散列表)算法实现原理

散列表散列表,又叫做“哈希表”,它是基于高速存取的角度设计的,也是一种典型的“空间换时间”的做法。散列表是依据关键码值(key)而直接进行访问的数据结构。也就是说,它通过把关键码值映射到表中的一个位置来访问记录,以加快查找的速度。这个映射函数叫做散列函数,存放记录的数组就叫做散列表。哈希的思路很简单,如果所有的键都是整数,那么就可以使用一个简单的无序数组来实现:将键作为数组索引

2018-05-30 16:39:11 1551

原创 Linux Vim常用快捷键

Linux Vim常用快捷键服务器上操作,经常要用vim查看编辑文件内容,不懂快捷键导致效率很低,于是就查阅网络资料总结了一下vim常用的快捷键。1、删除x    小写的 x 表示向后删除一个字符,也就是删除光标所在的字符nx   表示向后删除 n 个字符X    大写的 X 表示向前删除一个字符,即光标前的一个字符,不包括光标所在字符nX   表示向前删除 n 个字符2、复制yy    复制光标...

2018-05-16 16:42:35 592

word_count.avro

MapReduce读取Avro序列化文件测试数据,文件中存储了几个单词作为测试数据供读取

2018-11-17

读取自己的mnist数据集代码mnist.py

模仿mnist数据集制作自己的数据集,并读取自己的数据集

2017-11-27

读取mnist数据集并保存成图片代码

从二进制文件中读取mnist数据集并将其保存为图片格式

2017-08-05

模仿mnist数据集制作自己的数据集

模仿mnist数据集格式制作自己的数据集

2017-08-05

模仿CIFAR数据集格式制作自己的数据集代码(修改版)

模仿CIFAR数据集格式制作自己的数据集代码(修改版)

2017-07-21

模仿CIFAR数据集格式制作自己的数据集代码

模仿CIFAR数据集格式制作自己的数据集

2017-07-20

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除