hadoop
文章平均质量分 68
kevin_vv
这个作者很懒,什么都没留下…
展开
-
apache-hadoop-1.2.1、hbase、hive、mahout、nutch、solr安装教程
来源http://blog.csdn.net/luckymelina/article/details/16707801一、软件环境:VMware8.0Ubuntu-12.10-desktop-i386jdk-7u40-linux-i586.tar.gzhadoop-1.2.1.tar.gzeclipse-dsl-juno-SR1-linux-gtk.tar.gzhado转载 2015-01-10 16:13:32 · 1632 阅读 · 0 评论 -
[linux]ubutnu12.04 下安装jdk1.7
原文地址林羽飞扬1、源码包准备:首先到官网下载jdk,http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html,我下载jdk-7u45-linux-x64.tar.gz,下载到主目录 2、解压源码包通过终端在/usr/local目录下新建java文件夹,命令行:转载 2014-12-24 20:30:59 · 504 阅读 · 0 评论 -
ubuntu12.04安装Hadoop1.2.1
原文来自林羽飞扬ubuntu版本12.04.3 64位hadoop是用运行在java虚拟机上的,所以需要先安装jdk,jdk安装配置方法在另一篇博文ubuntu12.04下安装jdk1.7源码包准备:我下载的是hadoop-1.2.1.tar.gz,这个版本比较稳定,下载地址可以到官网提供的镜像http://www.apache.org/dyn/closer.cgi/hadoop/转载 2014-12-25 19:50:38 · 713 阅读 · 0 评论 -
Hadoop集群 WordCount运行详解
文章来源:虾皮工作室http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结转载 2015-01-03 17:30:30 · 1160 阅读 · 0 评论 -
Hadoop集群搭建(三台电脑)
在Ubuntu12.04环境下搭建Hadoop集群原创 2015-01-02 22:10:12 · 4235 阅读 · 1 评论 -
Mahout实现k-means算法
一、介绍Mahout Mahout是Apache下的开源机器学习软件包,目前实现的机器学习算法主要包含有协同过滤/推荐引擎,聚类和分类三个部分。Mahout从设计开始就旨在建立可扩展的机器学习软件包,用于处理大数据机器学习的问题,当你正在研究的数据量大到不能在一台机器上运行时,就可以选择使用Mahout,让你的数据在Hadoop集群的进行分析。Mahout某些部分的实现直接原创 2015-03-22 13:30:20 · 2700 阅读 · 1 评论 -
hadoop SequenceFile介绍 大数据 存储
原文地址:http://tangjj.blog.51cto.com/blog/1848040/1532915SequenceFile是一个由二进制序列化过的key/value的字节流组成的文本存储文件。基于压缩类型CompressType,共有三种SequenceFile Writer:12345678public转载 2015-05-03 16:07:40 · 801 阅读 · 0 评论 -
java连接impala数据库
java 程序连接impala数据库原创 2016-07-14 19:31:50 · 4710 阅读 · 1 评论 -
MapReduce程序执行的环境
Hadoop执行MapReduce程序环境有两种:本地测试环境,服务器环境服务器环境:首先需要在src下放置服务器上的hadoop配置文件1、在本地直接调用,执行过程在服务器上(真正企业运行环境)a、把MR程序打包(jar),直接放到本地b、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的libc、增加一个属性:config.set原创 2016-11-22 15:41:36 · 563 阅读 · 0 评论