大数据
birdflyinhigh
这个作者很懒,什么都没留下…
展开
-
Hive基础知识
1.数仓概念的理解数据仓库,英文名叫data warehouse. 主要使用来存储历史数据的。数仓一般按主题划分,整合了不通数据源的所有数据,存储的一般是历史数据,基本不会有什么变化, 数据量会随着时间增量变化。与传统业务数据库不同,传统数据库主要是面向事务,数仓主要是面向分析的,也就是主要有利于数据分析,就是可取的方向。数据仓库的分层大致为数据源,ODS(细节数据), DW(数仓) , DA(数据应用)。ETL将数据源数据抽取,转换,加载到数据仓库,用于数据分析。2. Hive的理解Hiv原创 2021-11-07 17:54:39 · 1465 阅读 · 0 评论 -
上传csv或excel到hive建表脚本
上传csv文件到hive, 自动建表小脚本。支持解析字段类型以parquet格式上传# coding=utf8"""requirements: tableschema sqlalchemy pandas pyarrow pyhive"""from __future__ import absolute_importfrom __future__ import divisionfrom __future__ import print_functionfrom __future_原创 2021-05-28 17:31:48 · 304 阅读 · 1 评论 -
2020-11-28 linux系统概述
linux系统概述Linus Benedict Torvalds,1969年12月28日发行版: ubuntu, centOS, red Hat, deepIn, debian7.1 linux目录结构windows 类似森林; linux树形结构;/bin: 二进制可执行文件/etc: 系统配置,启动程序;/home: 普通用户在home/root: 超级用户的home/sbin: 系统管理的命令/usr: 系统安装的软件/opt: 自己安装的软件必须要学会必要的命令行;7.2原创 2020-11-28 14:15:16 · 92 阅读 · 1 评论 -
2020-11-28 接口
###接口接口是一种公共的规范标准,类似插座和usb, 是一种通用的标准,只要符合标准,就可以通用接口更多的体现在对行为的抽象;抽象类和接口的区别:区别一,两者表达的概念不一样。抽象类是一类事物的高度聚合,那么对于继承抽象类的子类来说,对于抽象类来说,属于“是”的关系;而接口是定义行为规范,因此对于实现接口的子类来说,相对于接口来说,是“行为需要按照接口来完成”。这些听起来有些虚,举个例子。例如,狗是对于所有狗类动物的统称,京哈是狗,牧羊犬是狗,那么狗的一般特性,都会在京哈,牧羊犬中找到,那么狗相对原创 2020-11-28 14:12:35 · 222 阅读 · 0 评论 -
2020-11-26 多态
多态简介同一个对象,在不同的时刻,表现出不同的形态;多态的前提和体现:有继承和实现关系有方法重写有父类引用的指向子类对象多态中成员的访问特点package Polymorphm;public class Demo { public static void main(String[] args) { Animal a = new Cat(); a.eat(); System.out.println(a.age); }}原创 2020-11-28 14:12:46 · 107 阅读 · 0 评论 -
2020-11-17 java基础语法
java的跨平台原理JVMjava virtual machine主要依靠JVM,在不同的平台安装一个JVM,既可以执行jav程序;JREjava runtime environmentjre是java程序的运行环境JDKjava开发工具;主要的开发工具包括: javac.exe 和java.exe三者之间的关系jdk包含jre和开发工具;jre包含jvm和核心类库;jvm保证java程序的运行;JDK的下载和安装https://www.oracle.com今日尝试在cent原创 2020-11-28 14:13:07 · 94 阅读 · 1 评论 -
2020-11-17 - 如何理解继承
1.继承1.1 继承概述1.2 继承好处和弊端好处是 提高代码复用性和维护性坏处是 耦合性增强了。独立性削弱;is a1.3 继承中变量的访问特点在子类方法中访问一个变量:现在子类方法中找,如果子类方法中没有,再在子类成员变量中找,如果子类成员变量中没有,再在父类成员变量中找,如果父类成员变量中还是没有,那么就报错1.4 super关键字super.age : 访问父类的成员变量;super.show(): 访问父类的方法;super() : 访问super的构造方法;1原创 2020-11-28 14:12:55 · 123 阅读 · 0 评论 -
2020-11-15 大数据概念
常见的Linux命令ls:-a: 所有文件-l: 显示文件详情-h: 友好的方式显示文件大小;ls -Slha # 显示当前目录所有文件,并按照大小排序,文件大小以human readable方式展示;du -Sh # 显示当前文件下的所有文件,并按照大小排序;pwd: 查看当前路径;mkdir: 创建文件夹在当前目录递归创建多层文件夹mkdir -p tableNames/hive/prodrm: 删除文件rm -rf tableNames/hivecd: 切原创 2020-11-28 14:13:17 · 227 阅读 · 0 评论