下载hue 1.2
下载地址:
https://github.com/cloudera/hue/downloads/ 以前叫cloudera desktop,使用django作为web框架
1. 安装
waiting .. .. ..
执行完会在PREFIX指定的路径下生成hue的服务程序
2.配置
在hue/desktop/conf配置hue.ini
[[database]]
engine=mysql
host=localhost
port=3306
user=peter
password=peter
name=hue
hadoop,hdfs,mapred配置
hadoop_home=/hadoop/hadoop0.20.2
hadoop_conf_dir=/hadoop/hadoop0.20.2/conf
hdfs_port=8020
http_port=50070
jobtracker_host=localhost
3.配置hive
hive_home=/hadoop/hive0.70
hive_conf_dir=/hadoop/hive0.70/conf
4.初始化
/hadoop/hue/build/env/bin/hue syncdb --noinput
5.启动
/hadoop/hue/build/env/bin/supervisor
---------------------------------------------------------------------------------------------------------------------------------------------------
Oozie翻译:驯象人,Hadoop得名来源于创始人Doug Cutting的孩子给一大象玩具取的名字,而oozie作为Hadoop上的工作流引擎,名字取得真的很贴切。
先获取oozie的版本,使用版本3.3.1.
http://mirror.bit.edu.cn/apache/oozie/3.3.1/
此版本需要自己build,需要先下载安装JDK, maven, hadoop, extjs libray 2.2.
我的环境:
1. Build:
./bin/mkdistro.sh -DskipTests
成功build后,会在目录里生成一个distribution.
hadoop安装时创建的hadoop组和hadoop用户对oozie目录是没有权限,所以最好一开始创建oozie组和oozie用户,同时赋予权限,不然会报错.偷懒用了root用户。新用户下记得export JAVA_HOME=<JDK安装路径>
2.安装oozie:
Create a libext/ directory in the directory where Oozie was expanded.If using a version of Hadoop bundled in Oozie hadooplibs/ , copy the corresponding Hadoop JARs from hadooplibs/ to the libext/ directory. If using a different version of Hadoop, copy the required Hadoop JARs from such version in the libext/ directory.
If using the ExtJS library copy the ZIP file to the libext/ directory.
根据官方文档在distibution的目录下(/usr/local/oozie-3.3.1/distro/target/oozie-3.3.1-distro/oozie-3.3.1)创建libext,因为装的hadoop版本是1.0.4,所以拷贝$HADOOP_HOME/lib下的所有jar包到libext下,同时拷贝ext-2.2.zip到该目录下。
还要拷贝$HADOOP_HOME下的所有jar包到libext.
运行oozie-setup.sh创建oozie.war 成功运行后 拷贝oozie.war到tomcat部署目录下 修改配置oozie-site.xml,将false改成true.vi /usr/local/oozie-3.3.1/distro/target/oozie-3.3.1-distro/oozie-3.3.1/conf/oozie-site.xml
<property>
<name>oozie.service.JPAService.create.db.schema</name>
<value>true</value>
<description>
Creates Oozie DB.
If set to true, it creates the DB schema if it does not exist. If the DB schema exists is a NOP.
If set to false, it does not create the DB schema. If the DB schema does not exist it fails start up.
</description>
</property>
创建Oozie DB 成功运行后 运行oozie 用浏览器访问http://localhost:11000/oozie/就能看到oozie web console.
下载地址:
https://github.com/cloudera/hue/downloads/ 以前叫cloudera desktop,使用django作为web框架
1. 安装
waiting .. .. ..
执行完会在PREFIX指定的路径下生成hue的服务程序
2.配置
在hue/desktop/conf配置hue.ini
[[database]]
engine=mysql
host=localhost
port=3306
user=peter
password=peter
name=hue
hadoop,hdfs,mapred配置
hadoop_home=/hadoop/hadoop0.20.2
hadoop_conf_dir=/hadoop/hadoop0.20.2/conf
hdfs_port=8020
http_port=50070
jobtracker_host=localhost
3.配置hive
hive_home=/hadoop/hive0.70
hive_conf_dir=/hadoop/hive0.70/conf
4.初始化
/hadoop/hue/build/env/bin/hue syncdb --noinput
5.启动
/hadoop/hue/build/env/bin/supervisor
---------------------------------------------------------------------------------------------------------------------------------------------------
Oozie的安装
Oozie是一种Java Web应用程序,它运行在Java servlet容器——即Tomcat——中,并使用数据库来存储以下内容:
- 工作流定义
- 当前运行的工作流实例,包括实例的状态和变量
Oozie工作流是放置在控制依赖DAG(有向无环图 Direct Acyclic Graph)中的一组动作(例如,Hadoop的Map/Reduce作业、Pig作业等),其中指定了动作执行的顺序。
Oozie翻译:驯象人,Hadoop得名来源于创始人Doug Cutting的孩子给一大象玩具取的名字,而oozie作为Hadoop上的工作流引擎,名字取得真的很贴切。
先获取oozie的版本,使用版本3.3.1.
http://mirror.bit.edu.cn/apache/oozie/3.3.1/
此版本需要自己build,需要先下载安装JDK, maven, hadoop, extjs libray 2.2.
我的环境:
- Ubuntu
- JDK 1.6.0_43
- maven 3.0.7
- Hadoop 1.0.4
- extjs 2.2 (Oozie web-console需要)
1. Build:
./bin/mkdistro.sh -DskipTests
成功build后,会在目录里生成一个distribution.
hadoop安装时创建的hadoop组和hadoop用户对oozie目录是没有权限,所以最好一开始创建oozie组和oozie用户,同时赋予权限,不然会报错.偷懒用了root用户。新用户下记得export JAVA_HOME=<JDK安装路径>
2.安装oozie:
Create a libext/ directory in the directory where Oozie was expanded.If using a version of Hadoop bundled in Oozie hadooplibs/ , copy the corresponding Hadoop JARs from hadooplibs/ to the libext/ directory. If using a different version of Hadoop, copy the required Hadoop JARs from such version in the libext/ directory.
If using the ExtJS library copy the ZIP file to the libext/ directory.
根据官方文档在distibution的目录下(/usr/local/oozie-3.3.1/distro/target/oozie-3.3.1-distro/oozie-3.3.1)创建libext,因为装的hadoop版本是1.0.4,所以拷贝$HADOOP_HOME/lib下的所有jar包到libext下,同时拷贝ext-2.2.zip到该目录下。
还要拷贝$HADOOP_HOME下的所有jar包到libext.
运行oozie-setup.sh创建oozie.war 成功运行后 拷贝oozie.war到tomcat部署目录下 修改配置oozie-site.xml,将false改成true.vi /usr/local/oozie-3.3.1/distro/target/oozie-3.3.1-distro/oozie-3.3.1/conf/oozie-site.xml
<property>
<name>oozie.service.JPAService.create.db.schema</name>
<value>true</value>
<description>
Creates Oozie DB.
If set to true, it creates the DB schema if it does not exist. If the DB schema exists is a NOP.
If set to false, it does not create the DB schema. If the DB schema does not exist it fails start up.
</description>
</property>
创建Oozie DB 成功运行后 运行oozie 用浏览器访问http://localhost:11000/oozie/就能看到oozie web console.