排序:
默认
按更新时间
按访问量

大数据:spark集群搭建

创建spark用户组,组ID1000 groupadd -g 1000 spark 在spark用户组下创建用户ID 2000的spark用户 获取视频中文档资料及完整视频的伙伴请加QQ群:947967114 useradd -u 2000 -g spark spark 设置密码 passwd ...

2018-12-01 14:44:06

阅读数:946

评论数:0

大数据:Mapper输出缓冲区MapOutputBuffer

Mapper的输出缓冲区MapOutputBuffer 现在我们知道了Map的输入端,紧接着我们看map的输出,这里重点就是context.write这个语句的内涵。获取视频中文档资料及完整视频的伙伴请加QQ群:947967114 搞清Mapper作为参数传给map的context,这里我们看Ma...

2018-11-28 15:37:01

阅读数:13

评论数:0

大数据:Windows下配置flink的Stream

对于开发人员来说,最希望的是需要在windows中进行测试,然后把调试好的程序放在集群中运行。下面写一个Socket,上面是监控本地的一个运行端口,来实时的提取数据。获取视频中文档资料及完整视频的伙伴请加QQ群:947967114 下面是一段代码: import org.apache.flink....

2018-11-26 11:48:33

阅读数:17

评论数:0

大数据:Windows下配置flink的Stream

对于开发人员来说,最希望的是需要在windows中进行测试,然后把调试好的程序放在集群中运行。下面写一个Socket,上面是监控本地的一个运行端口,来实时的提取数据。 下面是一段代码: import org.apache.flink.api.java.utils.ParameterToolimpo...

2018-11-26 11:25:59

阅读数:7

评论数:0

大数据IDEA调试flink程序

大数据IDEA调试flink程序 Flink在IDEA中开发是一件比较困难的事情,网上没有参考资料,就算就业说的太过笼统,不知道是会了不说还是不会瞎说,为了解决flink这个问题,本人特别做了一遍开发的简单说明。主要考虑两个问题,1、语言环境的搭建。2、flink代码编译通过并运行 获取更多大数据...

2018-11-25 11:38:38

阅读数:37

评论数:0

大数据:Map终结和Spill文件合并

当Mapper没有数据输入,mapper.run中的while循环会调用context.nextKeyValue就返回false,于是便返回到runNewMapper中,在这里程序会关闭输入通道和输出通道,这里关闭输出通道并没有关闭collector,必须要先flush一下。 获取更多大数据视频资...

2018-11-24 10:56:07

阅读数:23

评论数:0

大数据 : Hadoop reduce阶段

Mapreduce中由于sort的存在,MapTask和ReduceTask直接是工作流的架构。而不是数据流的架构。在MapTask尚未结束,其输出结果尚未排序及合并前,ReduceTask是又有数据输入的,因此即使ReduceTask已经创建也只能睡眠等待MapTask完成。从而可以从MapTa...

2018-11-23 11:48:07

阅读数:17

评论数:0

大数据调错系列之:自己总结的myeclipse连接hadoop会出现的问题

在我们学习或者工作中开始hadoop程序的时候,往往会遇到一个问题,我们写好的程序需要打成包放在集群中运行,这无形中在浪费我们的时间,因为程序可以需要不断的调试,然后把最终程序放在集群中即可。为了解决这个问题,现在我们配置远程连接hadoop,远程调试的方法。 一段程序如下:获取更多大数据视频资...

2018-11-22 16:40:47

阅读数:9

评论数:0

大数据调错系列之hadoop在开发工具控制台上打印不出日志的解决方法

(1)在windows环境上配置HADOOP_HOME环境变量 (2)在eclipse上运行程序 (3)注意:如果eclipse打印不出日志,在控制台上只显示 1.log4j:WARN No appenders could be found for logger (org.apache.ha...

2018-11-22 11:17:04

阅读数:10

评论数:0

Map终结和Spill文件合并

当Mapper没有数据输入,mapper.run中的while循环会调用context.nextKeyValue就返回false,于是便返回到runNewMapper中,在这里程序会关闭输入通道和输出通道,这里关闭输出通道并没有关闭collector,必须要先flush一下。 代码结构: Mapt...

2018-10-26 17:34:03

阅读数:39

评论数:0

我转行做大数据工程师,同行都笑我,直到三个月后.............

【不要错过文末彩蛋】 申明: 本文旨在为普通程序员(Java程序员最佳)提供一个入门级别的大数据技术学习路径,不适用于大数据工程师的进阶学习,也不适用于零编程基础的同学。 前言: 一、背景介绍 二、大数据介绍 正文: 一、大数据相关的工作介绍 二、大数据工程师的技能要求 三、大数据学习规划 四、持...

2018-10-24 15:14:53

阅读数:59

评论数:0

spark 环境搭建及几种模式测试

spark 环境搭建及几种模式测试 spark安装部署spark安装前的环境准备 需要安装jdk、scala、hadoop作为前提环境。 1、安装jdk1.7 先卸载自带的jdk,防止自带的jdk和安装的出现冲突。而且自带的版本较低不能满足现在软件对jdk的要求。 使用如下命令: rp...

2018-08-10 16:05:54

阅读数:146

评论数:0

scala函数式对象,欢迎广大码农批评指正

scala函数式对象 1、构建Rational类 Rational是有理数,本章将通过有理数的构建进行深入的讲解 学习完本章可以掌握编写类库的一些方法,感觉像原始语言支持的那样,通过本章的学习你将可以使用如下例子 val oneHalf=new Rational(1,2) val two...

2018-08-07 11:14:27

阅读数:795

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭