hadoop
文章平均质量分 80
沧_海_笑
这个作者很懒,什么都没留下…
展开
-
hadoop完全分布式集群安装
要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了。说来简单,但是应该怎么做呢?不急,本文的主要目的就是让新手看了之后也能够亲自动手实施这些过程。由于本人资金不充裕,只能通过虚拟机来实施模拟集群环境,虽然说是虚机模拟,但是在虚机转载 2013-12-27 00:16:16 · 736 阅读 · 0 评论 -
SSH本机免登陆密码
今天在设置Linux免登录的时候,按照Hadoop官方说明的ssh设置,然后通过ssh localhost测试,可是总是提示要输入密码。(root权限可以,但是其他用户总要输入密码) $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 命令1:$原创 2013-12-31 21:47:12 · 813 阅读 · 0 评论 -
HBase完全分布式安装过程详解
HBase版本:0.90.5Hadoop版本:0.20.2OS版本:CentOS6.4安装方式:完全分布式(1个master,2个regionserver)192.168.220.128 guanyy 《master》192.168.220.129 guanyy1 192.168.220.130 guanyy2 与hadoop节原创 2014-01-10 00:59:10 · 729 阅读 · 2 评论 -
用Hadoop构建电影推荐系统
转自:http://blog.fens.me/hadoop-mapreduce-recommend/Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cass转载 2014-02-21 16:34:59 · 1666 阅读 · 0 评论 -
编译Hadoop2.x Hadoop-eclipse-plugin插件(window)
经过hadoop1.x的发展,编译hadoop2.x版本的eclipse插件视乎比之前要轻松的多。原创 2014-06-05 22:00:14 · 816 阅读 · 0 评论 -
Eclipse配置hadoop开发环境(win7)
1:下载Eclipse2:下载并编译原创 2014-06-08 21:35:40 · 844 阅读 · 0 评论 -
hadoop2.2.0环境的搭建(源码编译)
安装步骤1安装jdk1.1先查看系统中是否已经安装了jdk 1.2解压jdk包:[root@guanyy2 jar]# tar -zxvfjdk-7u55-linux-x64.tar.gz 1.3将解压包放在/opt/目录下[root@guanyy2 jar]# mv jdk1.7.0_55/ /opt 1.4配置环境变量/etc/profile[roo原创 2014-05-21 20:27:40 · 948 阅读 · 0 评论 -
hadoop2.2.0配置eclipse运行wordcount程序问题及解决方法
问题1:空指针异常log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.org/log4j/1.原创 2014-06-11 22:47:43 · 983 阅读 · 0 评论 -
ERROR security.UserGroupInformation: PriviledgedActionException + java.net.ConnectException解决办法
HADOOP运行mr程序时报错:15/05/18 19:25:33 INFO mapred.ClientServiceDelegate: Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server15/05/18 19:25:34 INFO ipc.C原创 2015-05-18 20:00:06 · 1279 阅读 · 0 评论