排序:
默认
按更新时间
按访问量
RSS订阅

hadoop2.4.1集群搭建

hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA 注意:apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库, 所以如果在64位的操作上安装...

2017-04-30 14:45:27

阅读数 482

评论数 0

Zookeeper搭建

1.上传zk安装包 2.解压 3.配置(先在一台节点上配置) 3.1添加一个zoo.cfg配置文件 $ZOOKEEPER/conf mv zoo_sample.cfg zoo.cfg 3.2修改配置文件(zoo.cfg) dataDir=/itcast/zooke...

2017-04-28 19:41:40

阅读数 201

评论数 0

ssh免密码登入

大家可以配置成密论认证的方式 首先生成密钥,用命令ssh-keygen –t rsa      运行后可以一直空格,生成密钥,id_rsa和id_rsa.pub文件 ,默认放在/root/.ssh/下,.ssh文件是隐藏的,要显示隐藏文件才看得到      在/home/admin下创建.ssh活...

2017-04-26 15:08:24

阅读数 273

评论数 0

HBase的配置

1.上传hbase安装包 2.解压 3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAV...

2017-04-25 19:14:18

阅读数 317

评论数 0

hive安装

Hive只在一个节点上安装即可 1.上传tar包 2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/ 3.配置mysql metastore(切换到root用户) 配置HIVE_HOME环境变量 rpm -qa | grep mysql rpm -e m...

2017-04-25 11:26:17

阅读数 180

评论数 0

hadoop中集群提交任务运行

集群模式运行 1/将工程打成jar包,上传到服务器,然后用hadoop命令提交  hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner 2/在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取以...

2017-05-29 17:28:15

阅读数 1449

评论数 0

使用mave开发mapreduce

1.安装mvn(可以省略) 1.1上传安装包到linux 1.2解压maven安装包 mkdir /usr/maven tar -zxvf apache-maven-3.2.1-bin.tar.gz -C /usr/maven 1.3添加maven到环境变量 vim /etc/pr...

2017-05-01 21:56:54

阅读数 171

评论数 0

hive连数据库配置

在hive-->config-->中创建一个hive-site.txt javax.jdo.option.ConnectionURL jdbc:mysql://weekend07:3306/hive?createDatabaseIfNotExist=true javax.j...

2017-04-25 11:24:26

阅读数 923

评论数 0

hadoop2.2.0伪分布搭建

1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply ...

2017-04-21 15:00:05

阅读数 219

评论数 0

hadoop1.2.1伪分布搭建

0.使用host-only方式 将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段 注意:一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段,但是IP不能相同 1.Linux环境配置(windows下面的防火墙也要关闭) 1.1修改主机名 vim /etc...

2017-04-21 14:59:23

阅读数 114

评论数 0

使用Maven搭建Hadoop开发环境

使用Maven搭建Hadoop开发环境 2015-01-02 09:10 22464人阅读 评论(1) 收藏 举报  分类: Hadoop(6)  版权声明:本文为博主原创文章,未经博主允许不得转载。 关于Maven的使用就不再啰嗦了,网上...

2017-04-19 18:04:40

阅读数 2146

评论数 0

提示
确定要删除当前文章?
取消 删除