大数据
只要你能好
java爱好和从业者
展开
-
Hadoop2.4.1集群搭建(YARN)
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA注意:apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译(建议第一次安装用32位的系统,原创 2016-07-29 13:24:16 · 421 阅读 · 0 评论 -
Hadoop2.2.0集群搭建
hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。注意:apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译(建议第一次安装用32位的系统,我将编译好的64位的也上传到群共享里了,如果有兴趣的原创 2016-07-29 13:20:39 · 461 阅读 · 0 评论 -
Hive安装与使用
Hive只在一个节点上安装即可1.上传tar包 2.解压tar -zxvf hive-0.9.0.tar.gz -C /cloud/3.配置mysql metastore(切换到root用户)配置HIVE_HOME环境变量rpm -qa | grep mysqlrpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodepsr原创 2016-07-29 13:38:49 · 364 阅读 · 0 评论 -
hbase集群搭建及常用方法
.上传hbase安装包2.解压3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了)注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55//告诉hbase使用外部的zk exp原创 2016-07-29 13:42:18 · 534 阅读 · 0 评论 -
sqoop安装与配置
sqoop安装:安装在一台节点上就可以了。1.上传sqoop2.安装和配置在添加sqoop到环境变量将数据库连接驱动拷贝到$SQOOP_HOME/lib里3.使用 第一类:数据库中的数据导入到HDFS上sqoop import --connect jdbc:mysql://192.168.1.10:3306/yangji --username root原创 2016-07-29 13:46:42 · 600 阅读 · 0 评论 -
zookeeper安装与配置
1.上传zk安装包2.解压3.配置(先在一台节点上配置)3.1添加一个zoo.cfg配置文件$ZOOKEEPER/confmv zoo_sample.cfg zoo.cfg3.2修改配置文件(zoo.cfg)dataDir=/yangji/zookeeper-3.4.5/dataserver.5=yangji05:2888:3888ser原创 2016-07-29 13:48:44 · 529 阅读 · 0 评论