斌海一舟-CSDN博客

原创 hadoop之oozie配置

说明在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起，这样才能够达到目的。在Hadoop生态圈中，Oozie它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中，从而完成更大型的任务。原理Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容：工作流定义当前运行

2016-05-11 08:55:13 3537

原创 hive、hbase整合

Hive 与Hbase 整合原理：Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类，大致意思如图所示：附件:编译好的hive-hbase-handler-1.2.1.jar，可以直接使用环境 —— jdk：1.8.0_65；hadoop：2.6.0 单节点；hbase：1.

2016-05-11 08:53:50 286

原创 Hive安装

Hive安装所需文件：apache-hive-1.2.1-bin.tar.gzjline-2.12.jarmysql-connector-java-5.0.8-bin.jarhive-site.xml环境：hadoop已配置好1.安装mysql数据库(虚拟机可以上网)1.1执行：sudo yum install mysql-server mysql

2016-05-06 11:21:10 277

原创 zookeeper集群搭建

zookeeper集群搭建所需文件zookeeper-3.4.6.tar.gz1. 解压zookeepertar -zxvf zookeeper-3.4.6.tar.gz -C app/cd appmv zookeeper-3.4.6 zookeeper(重命名)2. 修改配置文件conf/zoo.cfg cd zookeeper/confcp zoo_sample

2016-05-05 17:32:55 275

原创 Hadoop全分布式配置（2个节点）

Hadoop全分布式配置所需文件：jdk-8u65-linux-x64.tar.gzhadoop-2.6.0.tar.gz节点类型IP地址主机名 Namenode192.168.29.6masterNamenode/ SenddaryNameNode/

2016-05-05 17:08:35 4670 2

原创 Hadoop伪分布式配置

Hadoop伪分布式配置配置前需要关闭防火墙、selinux,具体步骤可参考我写的Hadoop配置前的工作所需文件：jdk-8u65-linux-x64.tar.gzhadoop-2.6.0.tar.gz1.配置jdk1.1卸载原有的jdk进入root用户，在命令行输入yum remove java1.2解压jdk-8u65-linux-x64.tar.gz文件

2016-05-05 16:39:50 302

原创 Hadoop配置前的工作（配置IP、开机后自动联网、关闭防火墙、selinux）

1.配置IP地址2.开机后自动联网（root用户）vi /etc/sysconfig/network-scripts/ifcfg-eth0修改为ONBOOT=yes3.启动进入命令行模式（root用户）修改vi /etc/inittab文件修改为"id:3:initdefault：" 4永久关闭防火墙、selinux（root用户）4.1 chkconfig ip

2016-05-05 15:48:10 453

原创 Linux视图模式切换

1.实时切换 1.1 命令行->图形 startx 1.2 图形->命令行 Ctrl+Alt+F1--F6(F1--F6任意键均可)，同时按住不要立即松开再切换回视图按Alt+F7注：(原始视图模式为命令行不能使用Alt+F7)2.默认启动（root用户操作）2.1 启动进入命令行修改etc下的inittab文件vi /etc/inittab修

2016-05-05 15:21:46 3031

原创 Hbase伪分布式安装

HBASE伪分布式安装环境：Hadoop2.6.0jdk1.8.0_65hbase-1.2.1-bin.tar.gz1. 解压到app文件夹下tar -zxvf hbase-1.2.1-bin.tar.gz -C app/cd app修改名称为hbasemv hbase-1.0.1.1-bin hbase2.设置环境变量(root用户) vi /etc/

2016-05-05 11:37:54 432

斌海一舟的博客