2017年06月_兵工厂三剑客

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

原创 apache-flume-1.7.0安装及测试

环境:ubuntu16.0.4，hadoop-2.7.3+hbase-1.3.0+hive-2.1.1+zookeeper-3.4.10+jdk1.8我的是hadoop集群，一共三个节点。从flume官网上下载flume-1.7.0。将压缩包放到Master用户主目录下面。1.安装然后在用户主目录下面解压：ubuntuserver@Master:~$tar

2017-06-22 23:03:27 1106

转载 mysql支持中文设置

转载自：mysql支持中文设置1，创建table的时候就使用utf8编码举个例子：1 create table entries2 (2 id int auto_increment, 3 title text,4 content text,5 posted_on datetime,6

2017-06-22 13:57:25 16444

原创 sqoop-1.4.6安装及常见问题解决

环境：ubuntu16.0.4，hadoop-2.7.3，hbase-1.3.0，zookeeper-3.4.10，hive-2.1.1从网上下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz。点我下载然后解压到用户主目录下面ubuntuserver@Master:~$tar -zxvf sqoop-1.4.6.bin__hadoo

2017-06-20 23:39:09 10890

原创 Hadoop实战学习（3）-手机流量统计

先装备一个txt文档，内容如下：13726230501 200 110013396230502 300 120013892730503 400 130013897230503 100 30013597230534 500 140013597230534 300 1200第1列表示手机号码，第2列表示上行流量，第3列表示下行流量。需求：要把同一个用户的上行流量、下行

2017-06-19 14:56:35 1735

转载 7个实例全面掌握Hadoop MapReduce

转载自：http://mp.weixin.qq.com/s/jW174XImD_nE7VN5-awTTw本文旨在帮您快速了解 MapReduce 的工作机制和开发方法，解决以下几个问题：MapReduce 基本原理是什么？MapReduce 的执行过程是怎么样的？MapReduce 的核心流程细节如何进行 MapReduce 程序开发？（

2017-06-19 09:57:39 3055 1

原创 hadoop常用web功能

http://Master:8088 查看集群状态（需要先启动yarn）http://Master:50070 查看HDFS系统（适用于2.x版本，1.x版本好像是50030）http://Master:19888 查看JobHistory（需要先启动jobHistoryserver，执行mr-jobhistory-daemon.sh start historyse

2017-06-18 23:20:45 1896

转载 Hadoop实战学习（2）-日志清洗

转载自：Hadoop日志清洗1.1 数据情况回顾　　该论坛数据有两部分：　　（1）历史数据约56GB，统计到2012-05-29。这也说明，在2012-05-29之前，日志文件都在一个文件里边，采用了追加写入的方式。　　（2）自2013-05-30起，每天生成一个数据文件，约150MB左右。这也说明，从2013-05-30之后，日志文件不再是在一个文件里边。

2017-06-18 23:01:05 2135 1

转载 SSM框架详细整合教程（基于Maven）

转载自：SSM框架详细整合教程使用SSM（spring、SpringMVC和Mybatis）已经有三个多月了，项目在技术上已经没有什么难点了，基于现有的技术就可以实现想要的功能，当然肯定有很多可以改进的地方。之前没有记录SSM整合的过程，这次刚刚好基于自己的一个小项目重新搭建了一次，而且比项目搭建的要更好一些。以前解决问题的过程和方法并没有及时记录，以后在自己的小项目中遇到我再整理分享一下

2017-06-09 14:20:30 1832

转载 SSM框架详细整合教程

转载自：SSM框架详细整合教程1、基本概念 1.1、Spring Spring是一个开源框架，Spring是于2003 年兴起的一个轻量级的Java 开发框架，由Rod Johnson 在其著作Expert One-On-One J2EE Development and Design中阐述的部分理念和原型衍生而来。它是为了解决企业应用开发的复杂性而创建的。Sprin

2017-06-08 20:40:10 1785

转载 Spring+Spring MVC+MyBatis实现SSM框架整合详细教程

转载自：Spring+Spring MVC+Mybatis实现SSM框架整合关于Spring+SpringMVC+Mybatis 整合，见还有不少初学者一头雾水，于是写篇教程，初学者按部就班的来一次，可能就会少走不少弯路了。一：框架介绍（啰嗦两句，可自行度娘）1.1:Spring Spring是一个开源框架，Spring是于2003 年兴起的一个轻量级的J

2017-06-08 20:33:47 3071 1

原创 eclipse常见问题解决

问题1：报“Dynamic Web Module 3.0 requires Java 1.6 or newer.”错误。解决方法：在pom.xml文件的build标签中，加入如下语句： org.apache.maven.plugins maven-c

2017-06-07 16:35:02 738

转载 SSH框架总结（框架分析+环境搭建+实例源码下载）

转载自： SSH框架总结（框架分析+环境搭建+实例源码下载）首先，SSH不是一个框架，而是多个框架（struts+spring+hibernate）的集成，是目前较流行的一种Web应用程序开源集成框架，用于构建灵活、易于扩展的多层Web应用程序。集成SSH框架的系统从职责上分为四层：表示层、业务逻辑层、数据持久层和域模块层（实体层）。 Struts作为系统

2017-06-07 08:45:55 590

转载 hadoop就业面试题

[申明：资料来源于互联网]本文链接：http://blog.csdn.net/sdksdk0/article/details/51695341编辑：朱培 ID：sdksdk0-----------------------------------------------------------------以下资料来源于互联网，很多都是面试者们去面试的时候遇到的问题，我对其

2017-06-05 21:57:38 3184