hive
「已注销」
爱思考,爱数学,爱博客。
展开
-
自动化(自动化运维、DevOps)
自动化运维的做法 1、 基础班——通过操作系统自带的自动化命令 2、 高级版——通过专业的自动化运维软件和平台(如CI平台) CI :Continuous Integration,持续集成 将整个开发过程尽量全部自动化完成。 3、关于辅助开发工具的选择——文本编辑器 UItraediter——UE:首选 EditPlus——EP:首选 Notepad++:不建议选,如果纯编辑不开放,也可以选用。 ...原创 2020-02-23 23:50:01 · 1318 阅读 · 0 评论 -
hive项目之微博ETL项目总结分析
微博ETL项目分析 一、数据格式 文件格式 Txt Csv’ Xls Doc 数据结构格式 Html格式,既是一个文件格式,也是一个数据结构格式 Json格式:kv对 Xml格式:一个根标签,和一堆子标签 二、输入和输出 输入: 房地产评论主题下的对应的用户基本信息文件集和评论内容文件集,两者之间是通过用户id关联的。 通过一定的java程序设计做数据解析、结构化、各自合并成一个文件即可方便loa...原创 2020-02-15 20:42:35 · 592 阅读 · 0 评论 -
hive概述和加载本地文件到数据库
一、数据仓库介绍 专业定义 英文名称为 Data Warehouse,可简写为DW 是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。 它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流改进、监视时间、成本、质量以及控制。 通俗解释 面向分析的存储系统 一个面向主题的、集成的、不可修改的、反映历史变化的数据集合,用于数据分析、辅助管理决策。 ...原创 2020-02-08 22:42:36 · 324 阅读 · 0 评论