- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 hadoop执行mapreduce过程reduce不执行原因
hadoop执行mapreduce过程reduce不执行原因1.如果你的map过程中没有context.write()是不执行reduce过程的；2.如果你的map过程中context.write()的map后的的部分数据出现问题，不符合reduce接受的数据也会不执行reduce比如说你的日志文件中有一个空行是不符合reduce的接受数据reduce不执行；
2017-09-30 19:30:32
3532
原创 Hive数据去重、多变一与一变多等实现
Hive数据去重、多变一与一变多等实现0. 数据准备0.1 数据文件本机的/usr/local/share/applications/hive/data/目录下创建 employees.txt 数据文件：John Doe^A100000.0^AMary Smith^BTodd Jones^AFederal Taxes^C.2^BState Taxes^C.05^BInsur
2017-09-29 23:49:54
3202
原创 Spring MVC源码分析—Tomcat分析
Tomcat分析1. Tomcat的顶层结构1）Tomcat中最顶层的容器是Server（一个Tomcat中只有一个Server），代表整个服务器。2）Server中包含至少一个Service，用于具体提供服务。3）Service主要包括两部分：Connector和Container。一个Service只有一个Container，但可以有多个Connecto
2017-09-29 18:09:38
427
原创 Spring MVC源码分析—Servlet解析
Servlet解析Servlet是Server + Applet的缩写，表示一个服务器应用。（Servlet其实就是一套规范，我们按照这套规范写的代码就可以直接在Java的服务器上面运行。）Servlet 3.1 中的Servlet结构图1. Servlet接口2. ServletConfig接口3
2017-09-28 00:07:42
656
原创 Hadoop远程调试
Hadoop远程调试Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分别是 JVM Tool Interface 和 JDI）、一个协议（Java Debug Wire Protocol）和两个用于合并它们的软件组件（后端
2017-09-25 18:51:25
516
原创 MapReduce实现分组排序
MapReduce实现分组排序以某次竞赛为例，分别进行如果实现：取每组中男生前三名成绩和女生前三名成绩按照年龄分组降序输出所有人的成绩等价的SQL0. 预备知识0.1 基于MapReduce实现分组、排序：分组：相当于group by。MapReduce的实现：相当于分区，以求处理手机上网日志为例，把手机号和非手机号分为两组。
2017-09-22 23:03:48
4257
2
原创 Spring MVC源码分析—基于Java中Socket实现HTTP协议
自己实现网络通讯1.1 普通Socket用法Java中的网络通讯是通过Socket实现的，Socket分为ServerSocket和Socket两大类，ServerSocket用于服务端，可以通过accept方法监听请求，监听到请求后返回Socket，Socket用于具体完整数据传输，客户端直接使用Socket发起请求并传输数据。1.1.1 ServerSocketServ
2017-09-21 07:47:38
1405
7
原创 Spring MVC源码分析—常见协议和标准以及DNS设置
常见协议与标准1、DNS协议DNS协议的作用是将域名解析为IP。域名和IP的对应关系不像电视频道那样稳定，而是经常在变化，所以就需要有专门将域名解析为IP的服务器，也就是“DNS服务器”，我们把域名发过去，它就可以给我们返回相应的IP，在windows下可以通过nslookup命令查看DNS解析的结果。世界各地有很多DNS服务器，ISP会给我们提供默认的DNS服
2017-09-20 08:03:40
1041
原创 Spring MVC源码分析—网站架构及其演变过程
网站架构机器演变过程1.1 软件的三大类型1.2 基础的结构并不简单BS结构是最基础的结构，不过即使这种最基础的结构的底层实现也不简单，因为它需要通过互联网传输数据，而互联网是一个错综复杂的网络，其中包括的节点不计其数，而且每两个节点之间的距离以及连接的线路都是不确定的，数据在传输的过程中还可能会丢失，所以非常复杂。所有问题都有它对治的方法，对于复杂问题的对治方法就
2017-09-19 16:45:49
800
原创 [Ljava.lang.String; cannot be cast to java.lang.String错误
周一刚来上班，就看到一个项目运行错误：[Ljava.lang.String; cannot be cast to java.lang.String，让我小纠结了一下。其实这个问题很好解决。问题描述：不能把String[]转化为String类型。解决方案：String orderNo = ((String[])request.getAttribute("orderNo"))[0];
2017-09-18 10:14:05
18316
原创 执行mvn 报错 source-1.5 中不支持 diamond运算符
在pom.xml文件中指定JDK版本即可： org.apache.maven.plugins maven-compiler-plugin 1.8 1.8 It's OK.
2017-09-15 15:38:42
493
原创 Flume读取日志数据并写入到Kafka，ConsoleConsumer进行实时消费
最近大数据学习使用了Flume、Kafka等，今天就实现一下Flume实时读取日志数据并写入到Kafka中，同时，让Kafka的ConsoleConsumer对日志数据进行消费。1、FlumeFlume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source、Channel、Sink三个最基本的概念
2017-09-14 00:03:45
20660
4
原创 针对ssh免密码登录出现Agent admitted failure to sign using the key
通过ssh配置免密码登录服务器时，出现了'Agent admitted failure to sign using the key.'提示。遇见此问题，只需要在当前用户下执行 ssh-add 命令即可将私钥添加进来，就可以直接通过类似 ssh master命令登录访问服务器。
2017-09-03 15:25:44
973
原创 Tomcat编译JSP页面生成Servlet文件（*.class & *.java）的存放位置
Tomcat将JSP编译成servlet后的文件存放在 apache-tomcat-8.5.16/work/Catalina目录下。e g: \webapps\login\welcome.jsp 文件编译后 => \work\Catalina\localhost\login\org\apache\jsp\welcome_jsp.class\work\Catalina\localhost
2017-09-01 12:40:14
6370
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人