- 博客(4)
- 收藏
- 关注
原创 随机(二)MapReduce
摘自于《Hadoop权威指南》,如有侵权,请联系MapReduce概述MapReduce 任务分为两个阶段,map和reduce。每个阶段都以键-值对作为输入,输出,类型有程序员来做选择。需要编写两个函数:map函数和reduce函数。实现mapreduce 需要三样东西,map函数,reduce函数,和一些用来运行作业的代码。Map函数使用java时,map函数可以有M...
2020-01-17 14:16:39
287
原创 VMware 最小化安装 Cent os ,配置网络、更换源
参考诸多文档,结合自身实际,如有侵权,联系,删除。VMware 最小化安装 Cent os ,配置网络,更换源配置网络一、最方便的就是用dhcp(动态主机分配协议),只用修改配置文件(自行百度,主要是记不住文件地址和名称)中的一行数据 ONBOOT=yes #系统启动时是否设置此网络接口,设置为yes时,系统启动时激活此设备然后保存文件,重新启动服务(service netwo...
2020-01-14 11:01:02
231
原创 VMware 14 安装以及启动cent黑屏
参考诸多文档,结合自身实际,如有侵权,联系,删除。VMware 14 安装以及启动cent黑屏安装时黑屏用管理员权限打开cmd (命令行窗口),输入 netsh winsock reset ,然后重启电脑。使用VM删除原来的虚拟机文件(直接删除安装目录下的文件就行),然后新建虚拟机,** 将新的虚拟机重新命名(与刚刚删除的虚拟机名字不一样。很重要,可见下面的启动黑屏) **下面就就就正...
2020-01-14 10:45:50
138
原创 HDFS 随记
随手记录,不确定百发百正确,请指正HDFS 随记数据块 HDFS的块默认128MB。 HDFS中小于一块大小的文件不会占据整个块的大小(例如,当一个1Mb的的文件存储在一个128MB的块上面,文件仅使用1MB,而不是128MB) HDFS的块比磁盘的块大,其目的是为了最小化寻址开销,但是如果块足够大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而,传输一个由多个块组...
2020-01-14 10:28:39
131
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人