项目背景介绍——某大型互联网企业用户上网行为日志分析系统

 

项目目的

•  通过分析，用户的上网日志，来分析用户的一些访问行为喜好。进而进行精准的广告投放与营销

•  同时记录用户的上网行为，可以掌握用户的上网情况，如时间、频次等

实际生产环境

•  每天约有  5T  的数据

•  实际运行节点到达  100

•  涉及到技术  Hadoop,Hive,HBase,Zookeeper,Ozzie

第二部分： 项目架构

 

第三部分： 环境搭建

•  Hadoop

•  HBase

•  Hive

•  Zookeeper

•  Oozie

HBase 安装 

•  安装前提

•  Hadoop  安装成功

•  软件准备

•  Hbase  -0.92.0.tar.gz

步骤 

•  解压

•  tar –  zxvf  hbase-0.92.0.tar.gz

•  配置环境变量

•  vi .  bash_profile

•  加入：

•  export HBASE_HOME=/home/  hbase

•  export PATH=$HBASE_HOME/bin

配置HBase

•  进入  /  hbase_home  /conf/

•  Vi hbase-env.sh

•  加入

•  export JAVA_HOME=your  java_home

•  export HBASE_MANAGERS_ZK=false

•  export HBASE_HOME=your  hbase  home

•  export HADOOP_INSTALL=your  hadoop  home

•  进入  /  hbase_home  /conf/

•  Vi hbase-site.xml

•  加入

•  <property>

•  <name>  hbase.rootdir  </name>

•  <value>hdfs://localhost:9000/hbase</value>

•  </property>

•  <property>

•  <name>  hbase.cluster.distributed  </name>

•  <value>true</value>

•  </property>

•  <property>

•  <name>  hbase.master  </name>

•  <value>localhost:60000</value>

•  </property>

•  <property>

•  <name>  hbase.master.port  </name>

•  <value>60000</value>

•  </property>

Vi hbase_home/conf/regionservers

加入localhost

 

 

Zookeeper安装

•  软件准备

•  zookeeper  -3.4.3.tar.gz

•  解压

•  Tar –  zxvf  zookeeper-3.4.3.tar.gz

•  配置环境变量

•  Vi  bash  _profile

•  Export ZOOKEEPER  _HOME=/home/zookeeper-3.4.3

•  Export PATH  =$ZOOKEEPER_HOME/bin

•  打开

•  Zookeeper/home/conf/zoo.cfg

•  加入

•  tickTime  =2000

•  dataDir  =home/xxx/zookeeper

•  clientPort  =2181