- 博客(11)
- 收藏
- 关注
RSS订阅原创 数仓分层
数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute的职责，同时记录基础数据的历史变化。数据公共层CDM（Common Data Model，又称通用数据模型层），包括DIM维度表、DWD和DWS，由ODS层数据加工而成。主要完成数据加工与整合，建立一致性的维度，构建可复用的面向分析和统计的明细事实表，以及汇总公共粒度的指标。公共维度层（DIM）：基于维度建模理
2020-06-18 19:36:39
204
原创 数据仓库
1. 什么叫数据仓库？数据仓库的特点？(相信inmon的数据仓库概念的四个特点是最基本的吧，当然需要加上自己的理解)首先，用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；其次，对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，它用于支持企业或
2020-06-18 19:34:00
315
原创 SQL优化
SQL优化(面试题) 因为现在面试经常需要问的需要SQL优化，问的具体操作步骤时候的常见做法，所以网上总结这些操作步骤：SQL优化的具体操作：1、在表中建立索引，优先考虑where、group by使用到的字段。2、尽量避免使用select *，返回无用的字段会降低查询效率。如下：SELECT * FROM t优化方式：使用具体的字段代替*，只返回使用到的字段。3、尽量避免使用in...
2020-03-24 10:22:48
91
转载 namenode 格式化错误 Unable to check if JNs are ready for formatting
bin/hadoop namenode -format 时候出现以下错误 org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. n15/12/04 04:52:50 WARN namenode.NameNode: Encounter...
2019-11-06 13:18:33
530
转载 DataNode和NameNode的clusterID不一致
如果查看到50070可视化界面中的live node数为0，则有可能是DataNode和NameNode的clusterID不一致。在这里插入图片描述解决方案：推荐方案：关闭Hadoop，删除各个datanode中的data文件夹下的所有文件，启动Hadoop，这样不用更换namenode中的clusterID。第二种方案就是格式化namenode。关键代码：hadoop nameno...
2019-11-06 13:16:40
1968
原创 Linux - Ftp客户端安装、创建Ftp用户和登录
一、安装客户端[root@xl ~]# yum install ftp二、创建用户# 以root用户登录后，增加名为 xlftp 的用户，并指定 xlftp 用户的主目录为 /home/xlftp[root@xl ~]# useradd -d /home/xlftp xlftp # 为 xlftp 设置或修改密码[root@xl ~]# passwd xlftp三、用户登录...
2019-10-28 17:48:31
342
原创 Linux 离线安装 FTP客户端
首先检查是否安装过： rpm -qa | grep vsftpd如果出现 vsftpd-xxx，那就说明安装了。没有即进行以下安装。下载 FTP：http://rpmfind.net/linux/rpm2html/search.php?query=vsftpd(x86-64)找到对应的版本进行下载即可。将下载好的包，上传到服务器。1、 安装vsftpdrpm -ivh vsftp...
2019-10-28 17:44:17
4338
1
转载 Linux篇---ftp服务器的搭建
一、前述企业中linux搭建ftp服务器还是很实用的，所以本文针对centoos7和centoos6搭建服务器教程做个总结。二、具体1、显示如下图则表示已安装 vsftp软件。如果未显示则需要安装vsftpd软件。如果没有则通过yarm源进行安装yum install -y vsftpd2、安装完成之后进入到ftp的根目录默认是/etc/vsftpd/文件中进行配置/etc/v...
2019-10-28 17:41:54
102
转载 kettle中JDBC Connection Reset问题分析
项目组测试MM在验证功能时，经常报怨讲测试环境上的应用在启动时很慢，偶尔会报失败，遇到类似问题多数情况下重新启动一次就可以启动成功，但少数时候也有反复启动不成功的案例。当启动失败时，日志里有如下的异常，看起来似乎和网络有关。java.sql.SQLRecoverableException: I/O Exception: Connection resetat oracle.jdbc.driver...
2019-10-10 19:48:14
582
转载 linux关于压缩的几种方法
一、zip格式 zip可能是目前使用的最多的文档压缩格式。它最大的优点就是在不同的操作系统平台上使用。缺点就是支持的压缩率不是很高，而tar.gz和tar.bz2在压缩率方面做得非常好。 我们可以使用下列的命令压缩一个文件： zip -r archive_name.zip filename （-r是压缩文件） 下面是如果解压一个zip文件： u...
2019-07-08 14:46:32
991
转载 Markdown简介
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-06-12 16:39:17
103
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人