SuperMan程序人生(关注微信公众号)

小白之路几万里,一步一步靠自己。

排序:
默认
按更新时间
按访问量

Hadoop的shuffle学习

     Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究M...

2018-10-23 10:35:17

阅读数:1

评论数:0

Hadoop的combiner学习与自定义combiner

Combiner的概念 Combiner号称本地的Reduce,Reduce的输入是Combiner的最终输出。 在MapReduce中,当map生成的数据过大时,带宽就成了瓶颈,怎样精简压缩传给Reduce的数据,有不影响最终的结果呢。有一种方法就是使用Combiner,Combiner...

2018-10-22 20:51:04

阅读数:14

评论数:0

Mybatis逆向工程(附源码下载)

源码地址: 点击下载  前言: mybatis是目前很流行的持久层框架,其逆向工程更是大大缩减了我们的开发时间。所谓mybatis逆向工程,就是mybatis会根据我们设计好的数据表,自动生成pojo、mapper以及mapper.xml。本文将介绍三种方式实现mybatis的逆向工程。 m...

2018-10-16 13:28:33

阅读数:27

评论数:0

深度优化Eclipse(工具提速,解决卡顿)

一般在不对eclipse进行相关设置的时候,使用eclipse总是会觉得启动好慢,用起来好卡,其实只要对eclipse的相关参数进行一些配置,就会有很大的改善。 (图片点击放大查看哦)  加快启动速度  1.在eclipse启动的时候,它总是会搜索让其运行的jre,往往就是这个搜索过程让ec...

2018-10-16 12:56:48

阅读数:62

评论数:0

Hadoop生态圈——大数据

Hadoop的发展史:  生态圈图解:    MapReduce:分布式数据处理模型和执行环境、运行于大型商用机集群。   ZooKeeper:一个分布式、高可用的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用。   HDFS:   分布式文件系统,...

2018-10-15 14:52:57

阅读数:18

评论数:0

(连接拒接)Call From hadoop 1 failed on connection exception: java.net.ConnException

官方答复: ls: Call From hadoop1/192.168.132.130 to hadoop1:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more...

2018-10-10 15:11:46

阅读数:26

评论数:0

MapReduce处理文件内容实战应用——MapReduce学习2

   前面学习了简单的经典的Wordcount算法,今天我们来学习一个处理文件内容、整理数据集的算法(关系的自然连接);   用MapReduce实现关系的自然连接     假设有关系R(A,B)和S(B,C),对二者进行自然连接操作 使用Map过程,把来自R的每个元组&a...

2018-10-10 14:21:45

阅读数:11

评论数:0

zookeeper启动报错Error:It is probably not running

首先说明一下本人的情况,我是启动zkServer.sh start 后显示是启动了,jps下也是有线程,说明线程启动成功,并没有端口占用的问题,但是在我 zkServer.sh status 时就会出现: It is probably not running 在各种大神的帮助下,搞...

2018-09-22 09:41:31

阅读数:27

评论数:0

IntelliJ IDEA 新人常用设置分享

说明 IntelliJ IDEA 有很多人性化的设置我们必须单独拿出来讲解,也因为这些人性化的设置让我们这些 IntelliJ IDEA 死忠粉更加死心塌地使用它和分享它。 常用设置 IntelliJ IDEA 的代码提示和补充功能有一个特性:区分大小写。如上图标注 1 所示,默认就是 ...

2018-09-20 10:11:40

阅读数:36

评论数:0

IntelliJ IDEA常用快捷键使用与修改(附官方快捷键文档对照表)

说明 IntelliJ IDEA 的便捷操作性,快捷键的功劳占了一大半,对于各个快捷键组合请认真对待。IntelliJ IDEA 本身的设计思维是提倡键盘优先于鼠标的,所以各种快捷键组合层出不穷,对于快捷键设置也有各种支持,对于其他 IDE 的快捷键组合也有预设模板进行支持。 关于各个快捷键的...

2018-09-18 21:55:29

阅读数:22

评论数:0

HbaseThere could be a mismatch with the one configured in the master.

每天更新报错,今天报错: ERROR [main] client.ConnectionImplementation: The node /hbase is not in ZooKeeper. It should have been written by the master. Check th...

2018-09-15 11:07:27

阅读数:24

评论数:0

IntelliJ IDEA各种图标的含义

在咱们使用 IntelliJ IDEA 创建文件的时候, 随着文件类型的不同,其显示的图标也不相同。例如,咱们分别创建 Java、Interface、Enum 和 JavaScript 文件,如下图所示: 如上图所示,显然不同的文件类型,其显示的图标也不相同。为了能够更好的掌握 Intell...

2018-09-13 15:29:34

阅读数:67

评论数:0

maven项目打包报错,没有web.xml问题

在maven 打包war包的时候,它会要求/WEB-INF目录下有web.xml文件,但是在servlet 3.0之后,对于web.xml文件本身是可选的,当我用maven打包的时候报错如下错误: [INFO] -----------------------------------------...

2018-09-11 19:28:22

阅读数:18

评论数:0

eclipse导出web项目时war没有jsp等文件的问题

步骤:  一、鼠标右键点击项目 –> 选择Properties –> 选择Deployment Assembly;  二、弹出框右侧查看 显示的文件夹是否正确,重点是检查显示的”/WebRoot”或”/WebContent”是否与项目真实目录匹配。  三...

2018-09-11 16:58:14

阅读数:33

评论数:0

简单实现单词统计(经典算法)——MapReduce学习1

今天自己写了一下简单的单词统计的MapReduce算法程序,在这里分享一下,为还在为此迷茫的伙伴指引方向同时也希望路过的大佬帮我指点一下不足之处,感谢。 单词统计的流程: 在Hadoop学习过程中,单词统计作为一个最经典的案例,非常简单实用,是每一个入门菜鸟必须要掌握的一个例子,可以...

2018-09-10 22:04:34

阅读数:21

评论数:0

Cannot create directory /user/root/QuasiMonteCarlo_1536201247182_1339573420/in. Namenode is in safe

搭建好集群后因为一时着急,出现以下的报错: [root@hadoop1 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.8.4.jar pi 20 50 Number of Maps = 20 Samples per Map = 50 o...

2018-09-10 20:14:07

阅读数:21

评论数:0

HDFS客户端的权限错误:Permission denied

首先先来看一下这个错误的完整描述: org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Ad...

2018-09-10 19:59:43

阅读数:48

评论数:0

WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException

最近总是莫名其妙的出现以下的报错, WARN hdfs.DataStreamer: Caught exception java.lang.InterruptedException 详情:  WARN hdfs.DataStreamer: Caught exception java.la...

2018-09-10 17:02:41

阅读数:125

评论数:0

Hadoop单机模式的分布式计算框架配置——大数据

一,配置一台普通的虚拟机 要求:安装Java的jdk1.7+ 二、解压安装Hadoop 之前有做安装笔记:https://blog.csdn.net/hu_belif/article/details/82391003 三、配置Java与Hadoop的环境变量 键入命令: vim /e...

2018-09-05 21:12:31

阅读数:145

评论数:0

Mybatis的查询缓存——框架

    什么是延迟加载          resultMap中的association和collection标签具有延迟加载的功能。         延迟加载的意思是说,在关联查询时,利用延迟加载,先加载主信息。使用关联信息时再去加载关联信息。 设置延迟加载         需要在Sql...

2018-09-05 16:29:04

阅读数:27

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭