- 博客(9)
- 资源 (1)
- 收藏
- 关注
原创 hadoop之oozie配置
说明在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起,这样才能够达到目的。在Hadoop生态圈中,Oozie它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中,从而完成更大型的任务。原理Oozie是一种Java Web应用程序,它运行在Java servlet容器——即Tomcat——中,并使用数据库来存储以下内容:工作流定义当前运行
2016-05-11 08:55:13 3551
原创 hive、hbase整合
Hive 与Hbase 整合原理:Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类, 大致意思如图所示:附件:编译好的hive-hbase-handler-1.2.1.jar,可以直接使用环境 —— jdk:1.8.0_65;hadoop:2.6.0 单节点;hbase:1.
2016-05-11 08:53:50 295
原创 Hive安装
Hive安装所需文件:apache-hive-1.2.1-bin.tar.gzjline-2.12.jarmysql-connector-java-5.0.8-bin.jarhive-site.xml环境:hadoop已配置好1.安装mysql数据库(虚拟机可以上网)1.1执行:sudo yum install mysql-server mysql
2016-05-06 11:21:10 306
原创 zookeeper集群搭建
zookeeper集群搭建所需文件zookeeper-3.4.6.tar.gz1. 解压zookeepertar -zxvf zookeeper-3.4.6.tar.gz -C app/cd appmv zookeeper-3.4.6 zookeeper(重命名)2. 修改配置文件conf/zoo.cfg cd zookeeper/confcp zoo_sample
2016-05-05 17:32:55 287
原创 Hadoop全分布式配置(2个节点)
Hadoop全分布式配置所需文件:jdk-8u65-linux-x64.tar.gzhadoop-2.6.0.tar.gz节点类型IP地址主机名 Namenode192.168.29.6masterNamenode/ SenddaryNameNode/
2016-05-05 17:08:35 4703 2
原创 Hadoop伪分布式配置
Hadoop伪分布式配置配置前需要关闭防火墙、selinux,具体步骤可参考我写的Hadoop配置前的工作所需文件:jdk-8u65-linux-x64.tar.gzhadoop-2.6.0.tar.gz1.配置jdk1.1卸载原有的jdk进入root用户,在命令行输入yum remove java1.2解压jdk-8u65-linux-x64.tar.gz文件
2016-05-05 16:39:50 311
原创 Hadoop配置前的工作(配置IP、开机后自动联网、关闭防火墙、selinux)
1.配置IP地址2.开机后自动联网(root用户)vi /etc/sysconfig/network-scripts/ifcfg-eth0修改为ONBOOT=yes3.启动进入命令行模式(root用户)修改vi /etc/inittab文件 修改为"id:3:initdefault:" 4永久关闭防火墙、selinux(root用户)4.1 chkconfig ip
2016-05-05 15:48:10 484
原创 Linux视图模式切换
1.实时切换 1.1 命令行->图形 startx 1.2 图形->命令行 Ctrl+Alt+F1--F6(F1--F6任意键均可),同时按住不要立即松开再切换回视图按Alt+F7注:(原始视图模式为命令行不能使用Alt+F7)2.默认启动(root用户操作)2.1 启动进入命令行 修改etc下的inittab文件vi /etc/inittab修
2016-05-05 15:21:46 3049
原创 Hbase伪分布式安装
HBASE伪分布式安装环境:Hadoop2.6.0jdk1.8.0_65hbase-1.2.1-bin.tar.gz1. 解压到app文件夹下tar -zxvf hbase-1.2.1-bin.tar.gz -C app/cd app修改名称为hbasemv hbase-1.0.1.1-bin hbase2.设置环境变量(root用户) vi /etc/
2016-05-05 11:37:54 446
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人