hadoop-2-x
夜下探戈
Pursue your object, be it what it will, steadily and indefatigably.
展开
-
linux中时间服务器同步问题:ntpdate[5426]: the NTP socket is in use, exiting
问题的原因是ntpd服务正在运行,需要将其停止运行。如下图:原创 2016-08-25 02:13:06 · 712 阅读 · 0 评论 -
wordcount 求互为好友对
package com.Practice.SameFriend2;import com.Practice.SameFriend.SameFriend;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;imp...原创 2018-03-18 18:23:10 · 221 阅读 · 0 评论 -
wordcount 数据去重
package com.Practice.RemoveDupData;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;im...原创 2018-03-18 17:18:38 · 617 阅读 · 0 评论 -
wordcount 求学生平均成绩
package com.Practice.AverageScores;import com.Practice.SameFriend.SameFriend;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;i...原创 2018-03-18 16:54:47 · 1158 阅读 · 0 评论 -
wordcount 学生成绩普通版
package com.Practice.StudentScores;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;imp...原创 2018-03-18 16:38:33 · 320 阅读 · 0 评论 -
hadoop wordcount求共同好友代码实现
package com.Practice.SameFriend;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;impor...原创 2018-03-16 22:18:00 · 481 阅读 · 0 评论 -
IDEA windows本地运行wordcount程序
第一步创建maven项目第二步创建WordCountDemo类package com.wordcountModel;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.ap...原创 2018-03-16 19:58:02 · 2233 阅读 · 18 评论 -
阿里云Maven仓库地址
http://maven.aliyun.com/nexus/#view-repositories;public~browsestorage在maven的settings.xml 文件里配置mirrors的子节点,添加如下mirror<mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> <name>Nexu原创 2016-11-04 01:21:53 · 403 阅读 · 0 评论 -
高可用术语解释:Split-Brain
脑裂:本来一个大脑的两半球互相配合,变成了分裂成两个独立的大脑,都认为对方已死。在集群环境中,有这么几种可能造成"Split-Brain"现象:1、在集群环境中的节点间的心跳线同时断掉后,集群系统所处于的一种特殊状态。例如节点1和2组成一个集群,突然1和2间的心跳同时都断了,如果此前节点1正在运行应用,心跳都断掉后2开始去接管应用,强行加载数据,此时就是split-brain。2、集群中节点因为处转载 2016-08-25 22:11:16 · 1494 阅读 · 0 评论 -
Hadoop HA 集群搭建
hadoop HA原理概述为什么会有 hadoop HA 机制呢?HA:High Available,高可用 在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 (SPOF:A Single Point of Failure)。对于只有一个 NameNode 的集群,如果 NameNode 机器出现故障(比如宕机或是软件、硬件升级),那么整个集群将无法使用...原创 2018-03-24 19:03:19 · 462 阅读 · 0 评论