自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 资源 (5)
  • 收藏
  • 关注

原创 关于继承Reducer类,内部方法分析

写自己的MyReducer类需要继承Reducer类。其中逻辑算术写在reduce()函数中,setup()函数在整个reducer中是靠前面执行的,且只执行一次。所以很多需要设计在输出前面的且不重复执行的可以写在setup()方法中。...

2018-07-24 17:03:38 671

原创 出错:/bin/bash: line 0: fg: no job control

问题:在windows的myeclipse上运行MapReduce在Linux的yarn上,会出现这个错误。4个配置文件已经配好,Linux上的集群和yarn也已经开启。原因:我是刚配置完mapred-site.xml文件中的mapreduce.framework.name值为yarn,集群上也修改了一些配置文件。解决:第二天使用Myeclipse就能直接使用,简单来说重启电脑。...

2018-07-24 17:01:16 1908

原创 在myeclipse中运行MR从http://localhost:8080/到http://master:8088/

问题:我把4个配置文件已经设置为在hdfs存储,在yarn上运行,但是打包driver类放到lib目录下,也添加到path中,集群也打开了,问题就是运行的时候显示job在localhost上运行。即The url to track the job: http://localhost:8080/  没有: mapreduce.Job: The url to track the job: htt...

2018-07-23 23:06:02 1986

原创 提交MapReduce任务出错:unknown queue: default

 报错:unknown queue: default原因:提交job作业,给application设置队列,如果没有设置队列,默认加载default队列,问题是学习配置任务队列的时候,我把参数设置order,phone,这样把之前root下默认的default给覆盖掉了。解决:在重新配置root下的队列中多加一个default用,隔开。错误截图:capacity-schedu...

2018-07-23 22:04:36 3785

原创 JAVA 常用框架和工具

JAVA 常用框架和工具集成开发工具(IDE):Eclipse、MyEclipse、Spring Tool Suite(STS)、Intellij IDEA、NetBeans、JBuilder、JCreatorJAVA服务器:tomcat、jboss、websphere、weblogic、resin、jetty、apusic、apache负载均衡:nginx、lvsweb层框架:Spring MV...

2018-07-15 09:30:39 818

原创 非常好用的刺客推荐

最近玩王者荣耀喜欢上玩一个刺客,这个刺客是兰陵王,它前期刷完一波野后立即升4级,抓人简直无解。杀人秘籍:1.开大隐身走到敌人附近,保证1和2技能都能打中,先放2技能再1技能眩晕,最后反向补大招,这样就算杀不死也能跑掉。如果能必定杀死先平A几刀,最后反向大。...

2018-07-15 09:26:01 236

spring2.5中文开发手册

spring2.5中文开发手册,内容齐全,完美,PDF格式的文件。学习Spring开发的很好的手册,中文版的,英文原版的我这也有,需要的关注我。

2019-02-22

Sqoop安装与使用

Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传输

2018-06-21

kafka的安装和简单实例测试

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群机来提供实时的消费。文档介绍有关Kafka的简单安装和使用。

2018-06-19

安装Flume和使用

第十一次课-Flume的安装和使用,包含Flume的两个实例应用

2018-06-09

Storm编程实践(安装Maven-使用Maven编译运行代码-mvn 打包)

Storm编程实践(安装Maven-使用Maven编译运行代码-mvn 打包)

2018-06-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除