项目：APP热点标签分析

一、项目背景与目标
项目背景：
在移动APP满天飞的当下，如何做好APP的营销和推广至关重要，而该环节的关键在于能对APP做大众喜欢的关键字描述，从而提高APP的搜索命中率和下载率。找到热度标签，蹭热度标签，往往可以提高相应APP的下载量和使用量。
项目目标：
用时不超过一周，主要是通过查看资料，百度搜索等方式搞定，加强实战应用开发能力和自学能力。最终达到对于常用的小模块开发，可以在1-5天内迅速解决战斗，并形成自身的类库积累。掌握数据仓库开发流程、核心代码开发，达到独立开发中小型数据仓库项目的能力。

二、需求分析
给定一批app名称及其描述信息,共52.9万条数据（爬虫爬取App Store的数据）
其内容结构为，共包含6个字段，分别为(appId,app名称, 一级分类,二级分类,三级分类,Tags描述信息)，但并不一定完全规整，视实际情况可能左对齐包括四个或五个或六个字段。
通过大数据开发之hive数据仓库命令行形式，完成数据加载、udf/udaf/udtf函数、统计分析的任务，并演示项目效果即可。

三、主要思路及难点
主要思路：
通过hive命令将数据加到数据仓库中
使用hql+udf/udaf/udtf完成统计分析
将统计分析结果插入到hive中自建的新表中
主要难点：
数据仓库的目录结构和开发规范
hive及HiveSQl常用命令
系统函数+udf/udaf/udtf灵活使用
hive常见问题的解决

项目流程：
思路分析：
1爬虫爬取App Store的数据（数据准备工作）
2.1创建对应的数据表1（create）
2.2加载数据（deal）
3.1创建一个表2保存”标签和标签量“
3.2对表1进行数据处理，产生数据保存到表2中（deal）

开发过程：
技术点：shell脚本、hive SQL
开发规范：
1、配置项config
touch set_env.sh vi set_env.sh

#！ /bin/bash   --告知这是一个shell脚本
HIVE='/usr/bin/hive'    --创建HIVE变量，hive可执行文件的位置

2、存放创建表的脚本create（在linux窗口执行hive命令：hive  -e  ”（hive命令）“）
touch app_tag_meta_info.sh		  chmod 755 app_tag_meta_info.sh 		
vi app_tag_meta_info.sh 

#! /bin/bash

source ../config/set_env.sh       #等价于HIVE='/usr/bin/hive'

db="job_002"
table_name="app_tag_meta_info"
#引用某个变量使用$
$HIVE -e "
   use $db;
  create external table $table_name(
    id string,
    name string,
    first_classify string,
    second_classify string,
    third_classify string,
    tags string
  )
partitioned by (dt string comment 'update date')
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'
STORED AS  textfile;
"

3、存放udf、数据处理的jar包udf
4、存放对数据处理逻辑的脚本deal
	加载数据：touch produce_app_tag_meta_info.sh
	 chmod 755 produce_app_tag_meta_info.sh
	 vi produce_app_tag_meta_info.sh

#! /bin/bash

source ../config/set_env.sh

updateDT=$1
db="job_002"
table_name="app_tag_meta_info"
jar_path=""
class_path=""
data_source_path="app_abstract_info.txt"

$HIVE -e "
  use $db;
  load data local inpath '$data_source_path'
   overwrite into table $table_name partition(dt='$updateDT')
  ;
"

$1指的时运行shell脚本时传入的第一个参数，$0代表所有的参数
(create)vi hot_tag_rank.sh

#! /bin/bash

source ../config/set_env.sh

db="job_002"
table_name="hot_tag_rank"

$HIVE -e "
   use $db;
   create table $table_name(
     tag string,
     freq int
   ) 
partitioned by (dt string comment 'update date')
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'
STORED AS  textfile;
"

(deal)vi produce_hot_tag_rank.sh

在这里插入代码片#! /bin/bash

source ../config/set_env.sh

updateDT=$1
db="job_002"
table_name="hot_tag_rank"
jar_path=""
class_path=""

$HIVE -e "
  use $db;
  set hive.execution.engine=tez;
  insert overwrite table hot_tag_rank partition(dt='$updateDT')
select tag,count(1) as freq from app_tag_meta_info lateral view explode(split(tags,',')) tag_table as tag where tag!='' and tag!='-' and dt='$updateDT' group by tag order by freq desc
"

脚本串联：
需要使用一个脚本来串联所有执行过程。
vi a_main.sh

#! /bin/bash

#得到当前日期
currentDT=`date +%Y%m%d`
echo "currentDT="$currentDT

#将文本文件数据加载到app_tag_meta_info表中
echo "start load data to table process"
sh produce_app_tag_meta_info.sh $currentDT
echo "end"

#生成统计排序的热度标签数据
echo "start insert tag rank data"
sh produce_hot_tag_rank_rc.sh $currentDT
echo "end"

echo "all done!"

``反引号的意思是将命令执行，将结果当作输入字符串