Hadoop
文章平均质量分 64
Huang_oracle
我是一个编程爱好者,特别喜欢Java
展开
-
Mahout安装与测试-基于hadoop单结点伪分布式
安装JDK见我之前关于JDK1.7安装的博客:http://blog.csdn.net/stanely_hwang/article/details/18883599Hadoop单结点伪分布式安装见我之前关于Hadoop单结点伪分布式安装的博客:http://blog.csdn.net/stanely_hwang/article/detai原创 2014-02-27 14:39:10 · 2774 阅读 · 1 评论 -
Hadoop2.2.0单节点伪分布式搭建
安装SSHssh-keygen -t dsa –P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys验证是否安装成功:ssh –versionssh localhost安装 JDK(这里安装jdk1.7.0_45)1)Oracle官网下载JDK官网链接:http://www.orac原创 2014-01-30 19:40:47 · 1338 阅读 · 0 评论 -
Sqoop安装配置及将mysql数据导入到hdfs中
1. 解压Sqoop以及jar包拷贝1) Hadoop版本为1.0.4,下载sqoop版本1.4.4-1.0.0,解压。2) 将mysql-connector的jar包(5.1.29版本)复制至sqoop解压后的lib目录下。3) 把sqoop根目录下的sqoop-1.4.4.jar以及mysql-connector的jar包复制到hadoop根目录下的原创 2014-03-31 18:48:20 · 2037 阅读 · 0 评论 -
Hadoop2.2.0三节点搭建
Hadoop 2.2下载 Hadoop2.2.0 我们可以直接从Apache官方网站下载。 下载地址:http://mirror.esocc.com/apache/hadoop/common/stable/Hadoop集群环境搭建准备这里我们搭建一个由三台机器组成的集群: Ip地址用户名/密码主机名系统原创 2014-01-30 19:45:31 · 1043 阅读 · 0 评论 -
Hadoop2.2.0动态添加,删除datanode,tasktracker
1.添加节点 1. 在新的slave节点中安装好JDK,以及SSH 2. 设置master到新添加节点密钥让其无需密码进入 3. 修改masters和slaves文件增加修改节点,在master中的/etc/hosts添加到slave2中的映射 4.修改有关NameNode的配置文件,并把${HADOOP_HOME}/etc/hadoop中的修改配置文原创 2014-03-21 14:38:13 · 1189 阅读 · 0 评论 -
HBase完全分布式配置
1. HBase简介:HBase –Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用 HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。HBase 是 Google BigTable 的开源实现,类似 Google Bigtable 利用 GFS 作为其文件存储系统,HBase 利用 Hadoop HDFS 作为其文原创 2014-04-02 00:33:23 · 1214 阅读 · 0 评论 -
Mysql到HBase数据迁移-Sqoop工具方法
进入${SQOOP_HOME}/bin, 执行以下指令:$ ./sqoopimport --connectjdbc:mysql://IP_ADDRESS:3306/DATABASE_NAME --tableTABLE_NAME --hbase-create-table--hbase-tableHBASE_TABLE_NAME --column-familyCOLUMN_原创 2014-04-02 01:04:04 · 2838 阅读 · 1 评论