项目目的
•
通过分析,用户的上网日志,来分析用户的一些访问行为喜好。进而进行精准的广告投放与营销
•
同时记录用户的上网行为,可以掌握用户的上网情况,如时间、频次等
实际生产环境
•
每天约有
5T
的数据
•
实际运行节点到达
100
•
涉及到技术
Hadoop,Hive,HBase,Zookeeper,Ozzie
第二部分: 项目架构
第三部分: 环境搭建
•
Hadoop
•
HBase
•
Hive
•
Zookeeper
•
Oozie
HBase 安装
•
安装前提
•
Hadoop
安装成功
•
软件准备
•
Hbase
-0.92.0.tar.gz
步骤
•
解压
•
tar –
zxvf
hbase-0.92.0.tar.gz
•
配置环境变量
•
vi .
bash_profile
•
加入:
•
export HBASE_HOME=/home/
hbase
•
export PATH=$HBASE_HOME/bin
配置HBase
•
进入
/
hbase_home
/conf/
•
Vi hbase-env.sh
•
加入
•
export JAVA_HOME=your
java_home
•
export HBASE_MANAGERS_ZK=false
•
export HBASE_HOME=your
hbase
home
•
export HADOOP_INSTALL=your
hadoop
home
•
进入
/
hbase_home
/conf/
•
Vi hbase-site.xml
•
加入
•
<property>
•
<name>
hbase.rootdir
</name>
•
<value>hdfs://localhost:9000/hbase</value>
•
</property>
•
<property>
•
<name>
hbase.cluster.distributed
</name>
•
<value>true</value>
•
</property>
•
<property>
•
<name>
hbase.master
</name>
•
<value>localhost:60000</value>
•
</property>
•
<property>
•
<name>
hbase.master.port
</name>
•
<value>60000</value>
•
</property>
Vi hbase_home/conf/regionservers
加入localhost
Zookeeper安装
•
软件准备
•
zookeeper
-3.4.3.tar.gz
•
解压
•
Tar –
zxvf
zookeeper-3.4.3.tar.gz
•
配置环境变量
•
Vi
bash
_profile
•
Export ZOOKEEPER
_HOME=/home/zookeeper-3.4.3
•
Export PATH
=$ZOOKEEPER_HOME/bin
•
打开
•
Zookeeper/home/conf/zoo.cfg
•
加入
•
tickTime
=2000
•
dataDir
=home/xxx/zookeeper
•
clientPort
=2181