小浩子的博客

这里聊的是单点安装！–开始： 条件 1).fedora23 2).hadoop-2.5.2 3).已经安装jdk和配置好Java的环境变量了安装步骤 1).下载和解压hadoop （1）下载资源自行在网上找，在root用户下操作，先将hadoop的下载包放在/opt目录下 （2）解压，在终端输入：tar xvf apache-hadoop-2.5.1.tar.gz2).配置环境变量

背景：最近两个月在弄用户行为分析系统，我本来是做java ee， 一开始，在数据量还不是很大的情况下，用纯 java 实现数据分析。但是越来越痛苦，我的数据采用一级一级总结抽取的方法，第一级数据是用户上传的txt数据，系统转化一次一级数据的时间从无知觉-几分钟-十几分钟-几十分钟-一个多钟-到现在的接近两个钟点。而且，中途还得保证数据的完整性、程序的健壮性，举个例子，我要分析5000个用户文件，如果

今天想在hadoop的项目里顺便把输出文件也整理了，写入数据库，就想着能不能整合进spring。一般来说，只要被spring框架整合的框架有扩展创建对象的接口都可以，可是，我刚接触hadoop，还不是很了解。就上spring官网查一下，结果没查到，看来hadoop应该不能像mybatis那样被spring接管了。 那么，不能整合，结合总可以吧。我把hadoop当成一个工具包，它只要负责处理数据就行