hive从入门到实战No.5

sql当中主要关键字的执行顺序问题

        select ,where,group by , order by, from优先级问题

                1）select < from

                2) select < where

                3) select < group by

                4) select > order by 

        结论

                order<select<group by<where<from

项目立项书

                要做项目的时候，有一个项目的正式列入公司正常开发项目的仪式，称为项目立项书

项目分类-按项目的发布形式

                桌面型项目-C/S 结构=client/server

                        单机、本地安装、功能驱动

                web类型项目-B/S 结构=Browser/server

                        联网、分布式、功能驱动

                数据开发类项目

                        数据流驱动

                                整个过程，都是以数据节点的流程作为开发的主要依赖

数据开发项目的标准流程

        项目背景-需求说明

        需求分析

        技术方案和排期表

        开发细节和风险控制

        测试、Bug修复、调优

        正式上线-用户可以正式使用

        项目总结

细节开发的注意事项

        目录组织结构-五大金刚

                creat

                        放数据表的创建sql语句

                udf

                        放java\scala\python等相关的自定义代码部分

                deal

                        放相关的具体的业务处理的shell脚本程序

                data

                        存放项目需要的一些临时数据、输入输出临时需要的数据

                conf

                        放项目所需要的配置文件相关的内容。使项目具备更好的可以执行

———————————————————————————————————————————

实战项目之APP热点标签分析

目录

        一、项目背景与目标

        二、需求分析

        三、主要思路与考点

详情

一、项目背景与目标

        项目背景

                在移动App满天飞的当下，如何做好app的营销和推广至关重要，而该环节的关键在于对APP做大众喜欢的关键字描述，从而提高APP的搜索命中率和下载率

                找到热度标签，蹭热度标签往往可以提高相应的APP的下载量和使用量。

        项目目标

                用时不超过一周，主要是通过查看之前教学资料和视频，百度搜索等方式搞定，加强实战应用开发能力和自学能力

                最终达到对于常用的小模块开发，可以在1-5天内迅速解决战斗，并形成自身的类库积累

                掌握数据开发流程、核心代码开发，达到独立开发中小型数据仓库项目的能力

二、需求分析

        给定一批app名称及其描述信息共52.9完条数据

        其内容结构为，共包含6个字段，分别为（appid，appname，一级分类，二级分类，三级分类，tags描述信息），但不一定完全规整，视实际情况可能左对齐包括四个或者五个或六个字段

        通过大数据开发之hive数据仓库命令形式，完成数据加载、udf/udaf/udtf函数、统计分析的任务，并演示项目效果即可

三、主要思路与考点

        主要思路

                通过hive命令将数据加载到数据仓库中

                使用hql+udf/udaf/udtf完成统计分析

                将统计分析结果插入到hive中自建的新表中

        主要考点

                数据仓库的目录结构和开发规范

                hive及hiveSQL常用命令

                系统函数+udf/udaf/udtf灵活使用

                hive常见问题的解决