- 博客(6)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 【大数据】MapReduce原理（2）
MapReduce中自定义传递对象自定义传递对象： 1. 自定义key传递对象需要实现WritableComparable接口。 注意：这里定义类必须有无参构造函数，否则会报错。 2. 自定义key传递对象需要实现Writable接口。 这两种实现区别在于：MapReduce在map阶段会对结果按key进行排序，所以需要实现Comparable的比较方法： 同时还要重写序列化...
2018-08-29 15:52:46
198
原创 【大数据】MapReduce原理（1）
MapReduce原理MapReduce是一个分布式运算程序的编程框架Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。MAPREDUCE框架结构及核心运行机制一个完整的MapReduce程序分布式运行时主要有三个部分组成： MapReduce的管理程序MRAPPMaster：负责整个程序的...
2018-08-26 10:23:03
205
原创 【Java】数组字符串去重
数组去重用TreeSet就可以很方便的去重+排序public static void removeArray(int[] arr){ Set<Integer> ts = new TreeSet<>(); //将数组加入TreeSet中，去重、排序。 for(int i : arr){ ts....
2018-08-22 13:52:09
1445
1
原创 【大数据】Zookeeper的Java API应用
这里简单模拟了一个分布式应用的主节点HA及客户端动态更新主节点状态的场景。以便于了解Zookeeper的java API。场景：三台服务器mini1，mini2，mini3，上线后向Zookeeper注册信息，然后客户端实时获取服务器列表。代码中将服务器注册在Zookeeper的“/servers”路径下，需要先创建这个路径，方法为： 1.在Zookeeper服务端输入zkCli...
2018-08-13 15:51:10
212
原创 【大数据】Zookeeper的学习与安装（附加脚本全启动）
1. Zookeeper概念简介Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务zookeeper是为别的分布式程序服务的Zookeeper**本身就是一个分布式程序**（只要有半数以上节点存活，zk就能正常服务，zookeeper适合装在奇数台机器上！！！）Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、...
2018-08-12 22:38:58
270
原创 【Linux】VMware中虚拟机（centOS）不能连接外网的问题
在之前的学习中发现了我VMware虚拟机之前可以相互ping通但是却不能ping通外网的问题。去网上疯狂找解决办法终于解决了这个问题。下面大致描叙一下解决步骤注意： 这里是用的是NAT模式1.主机Internet共享首先要打开主机的Internet共享功能：在网络设置里面 如图，进入网络连接属性之后选择共享标签卡： 这里遇到了一个问题：勾选后点确定就卡死，去晚上找了也没...
2018-08-11 10:46:54
17123
11
Spark Streaming读取kafka数据解析后写入ES，处理效率太低太慢
2019-10-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人