- 博客(10)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 第8章 MapReduce的类型与格式
1 MapReduce的类型 默认的MapReduce作业 示例一个最简单的MapReduce程序/*** 简单一个文件转移*/public class example1 extends Configured implements Tool { public int run(String[] strings) throws Exception...
2020-04-04 20:45:36
249
原创 第7章 MapReduce的工作机制
1、 作业的提交可通过调用Job对象的submit()方法，也可以调用waitForCompletion()方法。Job的submit()方法创建了一个内部的JobSummiter实例，并调用其submitJobInternal()方法。提交作业后，waitForCompletion()轮询进度，有变化就打印到控制台。作业完成后，若成功，显示作业计数器，失败则显示失败的错误记录。J...
2020-03-30 19:52:13
286
原创 第五章 Hadoop的IO操作
1、数据完整性检测数据是否损坏：在数据第一次引入时计算校验和并在数据通过一个通道进行传输时再次计算校验和（CRC-32）HDFS中，datanode负责在收到数据后存储该数据及其校验和之前对数据验证，客户端从datanode读取数据也会验证校验和，每个datanode运行一个DataBlockScanner后台进程定期验证数据块。2、压缩图中所有压缩工具提供9个不同选项控...
2020-02-23 16:59:20
416
原创 第四章 关于yarn
1、YARN应用的运行机制Step1:客户端联系资源管理器，要求它运行一个application master进程Step2:资源管理器找到能够在容器(container)中启动application master的节点管理器. 若该进程只是单独运行一个计算，则由Step2后直接返回结果。否则进Step3.Step3:启动中的application master 向资...
2020-02-23 16:50:54
235
原创 记录mapreduce写数据到mysql踩的坑
在reduce阶段发生错误Error: java.io.IOException: java.sql.SQLException: No suitable driver found for jdbc:mysql://ldm1:3306/report?useUnicode=true&characterEncoding=utf8虽然知道没找到driver包，但不知如何解决，在网上...
2019-11-23 17:06:55
216
原创 配置mysql为其他用户以及其他机器节点授权
1.linux与linux之间grant all privileges on *.* to root@'xxxxx' identified by '123456';flushprivileges grant：授权 all：所有权限 *.*：数据库名称.表名称 root：操作mysql的用户 @''：主机名...
2019-11-13 22:51:27
451
原创 Destination Host Unreachable解决方法
在重装虚拟机碰到的网络配置问题，以便以后排错无论ping什么都是Destination Host Unreachable查了下问题，原来是网关没设置好。设置好后即可正常通网。至于查看自己设置的网关方法...
2019-09-30 23:20:47
61954
10
原创 linux笔记--快捷键
向上：ctrl+p向下：ctrl+n删除光标前的字符：Backspace/ctrl+h删除光标后的字符：ctrl+d删除光标前的字符串：ctrl+u删除光标后的所有字符串：ctrl+k移动：向前：ctrl+b向后：ctrl+f移到头部：ctrl+a移到尾部：ctrl+e...
2018-09-21 09:08:03
99
原创 c语言播放背景音乐
相信很多童鞋都在为大学课设而伤透头脑，而背景音乐的使用无疑会成为其中的一个亮点（总比没有好吧(╯▽╰)），故接下来我将介绍一下如何用C播放音乐。我用的编译器是CodeBlocks16.01接下来新建一个C文件建立完后是这样滴然后添加其中mciSendString()函数是由<mmsystem.h>库提供的供播放音乐（MP3）的函数第一个参数是歌曲所在的绝对路径 打开音乐所在位置 复制这...
2018-05-22 22:49:56
32630
24
原创 学习笔记-上传本地代码到gitlab
近日开始入坑git，在上传代码到gitlab上遇到极大阻碍。故说说自己的解决办法，方便自己以后不懵逼，也希望给遇到同样问题的童鞋一点思路。一、首先，肯定是要安装git滴。可以在官网下载 点击打开链接1.如果是windows下安装 点这个就行 安装除了路径改下 其余直接下一步2.若linux（Centos7）下安装git我用的是virtualbox中的Centos7 (1)在Centos可以上...
2018-05-20 18:23:29
4268
1
课设-学生成绩分析程序
2020-10-26
橘子识别.rar
2019-07-12
个人物品管理程序
2019-03-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人