知行教育
文章平均质量分 64
桃叶令君香
这个作者很懒,什么都没留下…
展开
-
知行教育---YARN 的参数优化(06)
YARN 的参数优化Map和Reduce程序的最大堆栈内存如果用的是apache的yarn,需要在mapreduce.map.java.opts中配置:-Xmx 来指定最大堆栈内存的使用情况Reduce 设置这个:mapreduce.reduce.java.opts指定Map任务和Reduce任务可以使用的最大堆栈内存如果用的是cm集群:如果是apache版本的,配置:mapreduce.reduce.memory.mb和ma...原创 2021-01-11 17:23:42 · 211 阅读 · 0 评论 -
知行教育---Hive分区数据的写入(05)
Hive分区数据的写入 静态分区 insert into ..... partition(year='2020', month='09') 动态分区 insert into ...... partition(year, month) 开启动态分区,同时要求非严格模式 set hive.exec.dynamic.partition=true; 是开启动态分区 set hive.exec.dynamic.partition.mode=nonstrict; 这个属性默认值是原创 2021-01-11 17:20:18 · 494 阅读 · 0 评论 -
知行教育---Hive的常见函数(07)
Hive的常见函数IF 函数语法:IF (表达式, true结果, false结果)意义:对表达式进行判断,如果表达式为真,将返回true的结果如果为假将返回false的结果举例:SELECT IF (1=1, '是', '否');-- IF也可以嵌套比如IF (a=b, IF(c=e, 1, 2), 0);nvl函数语法:NVL(被判断的值, 默认返回值)意义:对被判断的值进行判断,如果它为NULL,将返回默认值,否则就返回这个值本身举例..原创 2021-01-11 17:18:12 · 239 阅读 · 0 评论 -
知行教育---GIT常用命令(04)
一、新建代码库# 在当前目录新建一个Git代码库git init# 新建一个目录,将其初始化为Git代码库git init [project-name]# 下载一个项目和它的整个代码历史git clone [url]二、配置Git的设置文件为.gitconfig,它可以在用户主目录下(全局配置),也可以在项目目录下(项目配置)。# 显示当前的Git配置git config --list# 编辑Git配置文件git config -e [--global]# 设置提交代码.原创 2020-12-23 20:31:46 · 77 阅读 · 0 评论 -
知行教育---数据仓库理论(03)
数据仓库理论学习目标理解OLTP和OLAP的区别理解数据仓库的特点理解数据仓库系统架构理解指标与维度理解下钻与上卷理解事实表与维度表理解星型模型和雪花模型理解缓慢渐变维掌握数据仓库的分层方法数据仓库介绍数据分析的问题 做分析的时候,很多业务数据都会分散的存储到很多业务后台中。数据孤岛 数据量巨大,需要一种能够存储海量数据,同时也能分析海量数据的工具 工具还需要能够支持常用的SQL 解决问题 做数据的集中存储...原创 2020-12-23 20:21:31 · 567 阅读 · 0 评论 -
知行教育项目---课程提供的虚拟机的配置(02)
课程提供的虚拟机的配置虚拟网络编辑器中VMnet8的配置课程的虚拟机使用的是VMnet8这个虚拟网卡,模式是NAT子网IP : 192.168.52.0子网掩码 : 255.255.255.0网关 : 192.168.52.1如图进行设置同学们可以修改虚拟网络编辑器,修改网段等内容,确保虚拟机开机后直接可以直接用 如果你对这些比较熟悉,可以不用修改你的VM配置,开机后修改Linux系统的IP适配VM软件的网段也可以(不要忘记/etc/hosts)电脑中VMnet8网原创 2020-12-23 20:13:40 · 143 阅读 · 0 评论 -
知行教育项目---项目介绍(01)
前置需求的技术Hadoop Hive Hue Sqoop Oozie项目简介项目叫做 : 知行教育大数据信息平台(数仓开发项目)目的 : 对海量的业务数据进行指标分析结果 : 对分析的结果做可视的展示项目的痛点数据量比较大,传统的业务数据库比如MySQL难以支撑,我们需要 : 分布式的,支持SQL的一种数据库(hive) 数据分散,需要将数集中存储 数据设计是针对业务设计的,分析比较困难 , 我们需要将它转化为分析比较好用的格式项目的数据流转在线教育的业...原创 2020-12-22 16:05:52 · 722 阅读 · 1 评论