数仓的数据加工过程-ETL ETL也称为提取，加载和转换。ETL提供了将数据从各种源移动到数据仓库的方法。第一步包括将数据从源系统提取到暂存区域。转换步骤包括清理和转换来自源的提取数据。将数据加载到数据仓库是ETL过程的最后一步。
vim编辑器快捷键命令总结 zeppelin查询引擎vi 命令下面列出常用的 vi 命令。文件编辑的命令可以通过添加叹号的命令强制执行（如，:q! 命令强制退出编辑器而不保存文件）。h 或 ← 光标左移一个字符j 或 ↓光标下移一行k 或 ↑ 光标上移一行l (小写字母 L) 或 → 光标右移一个字符H 光标移至屏幕顶行L光标移至屏幕末行G光标移至文件末行w 光标右移一个词b 光标左移一个词0 (数字零) 光标移至行首^ 光标移至当前行第一个非空格字符$ 光标移至当前行行尾Ctrl-B 向...
linux系统时间同步服务配置 1.进入客户端机器Linux系统，我们介绍两种进入Linux系统的方法，并使用shell进行配置：1) 在本机登录提示符下进入Linux系统。采用root用户登陆，输入用户口令。每个Linux系统都有一个根（root）用户，root用户能够运行程序、使用文件、以任何方式改变计算机的设置；2) 使用telnet登陆Linux。使用telnet登陆的时候，不可以直接使用root用户注册，您需要输入系统设定的另一个用户的用户名和口令，进入后，再使用su命令，更改用户名为root用户，然后输入root用户的口令
Linux哪些数据需要备份 在 Linux 系统中也有类似 ghost 的工具（dd 命令就可以实现整盘备份），不过这种备份花费的时间比较长，占用的硬盘空间较大，不太适合经常进行。事实上，全盘备份 Linux 系统并不是一个好的策略，我们仅需要备份系统中的所有重要文件数据即可，不但备份过程迅速，恢复也快。那么，哪些数据是 Linux 服务器中较为重要的、需要定时备份的数据呢？我个人认为，需要备份的文件大致可分为 2 类，分别是系统级配置文件和用户级配置文件。系统级配置文件系统配置文件主要指的是系统全局的一些配置信息，比如.
工作再忙也别偷这四种懒 职场中，总有人忙到飞起，但实际效果却不尽人意；但也有人，似乎从不加班，却总能抓住每一关键节点，实现职场迁跃。同是职场中人，为何差距这么明显？真相简单又扎心：因为在职场，从不看苦劳，只看功劳。职业成长分阶段，成长之路也存在关键节点，过后很难再弥补。因此，无论再忙，也千万别在工作中偷这4种懒。1、懒于做职业发展规划前段时间，我的一位朋友从外企辞职，跨行跳槽到当地一家教育培训公司。在此之前，她已在外企积累了5年的工作经验，可以独立带领团队开展项目。但最终...
Linux 服务器部署ssl 证书 详细操作过程先安装zlib，见linux下安装zlib安装openssl Building a Web Server, for Linux下载地址Package(Linux source) : openssl-0.9.8c.tar.gz解压文件tar -zxvf openssl-0.9.8c.tar.gzOur ConfigurationInstall to : 默认安装路径 /usr/local/sslModule type : dynamically and sta.
centos6系统下载--国内镜像站点 大家知道,centos6版本的系统在实际生产环境周已经用的很少了,官方也在去年已经停止维护了,很多镜像站也停止了维护.所以很难下载到了, 国内多数镜像站点都不提供下载了, 唯一还比较良心的就是搜狐开源站点.还提供,不过是centos 6.10版本, 下载速度相对国外官网下载要快不少. 再次奉上链接地址. 其他低版本的系统只能从网上网友公开分享出来的网盘里的下载吧.搜狐开源镜像站http://mirrors.sohu.com/centos/6/isos/x86...
如何查看Linux系统是物理机还是虚拟机的方法 很多情况下, 我们不清楚当前的Linux系统到底是物理机还是虚拟机. 这两种不同的机器性能上还是差别很大的.虽然现在流行云服务器的时代了, 不过还是物理机要好用很多. 资源能完全利用起来, 云机器就是扩容很方便容易. 根据需求付费扩容即可. 下面来介绍一下如何判定是什么类型的机器.dmidecode -s system-product-name 也有的系统不支持这个命令, 还可以使用其他的命令也可以看出是什么平台类型lshw -class syst...
17个在 Linux 运维中定要掌握的实用技巧 1、查找当前目录下所有以.tar结尾的文件然后移动到指定目录：find.-name“*.tar”-execmv{}./backup/;注解：find –name 主要用于查找某个文件名字，-exec 、xargs可以用来承接前面的结果，然后将要执行的动作，一般跟find在一起用的很多，find使用我们可以延伸-mtime查找修改时间、-type是指定对象类型（常见包括f代表文件、d代表目录），-size 指定大小，例如经常用到的：查找当前目录30天以前大于100M的LOG文件...
linux 在vmware虚拟机中安装的完整过程--详细 一般玩Linux 我们不具备硬件条件， 在虚拟机中安装是很合适的。 可以虚拟出很多的机器， 只用一台电脑即可。下面演示具体的linux 在虚拟机中安装。安装虚拟机就不做演示了， 一路下一步即可直到安装完成。 安装完成需要激活， vmware 是付费软件。建议大家多多支持正版。 安装过程 （centos 6.5） 1、载入镜像，选择第一个进行CentOS安装；挂载iso 文件到虚拟机上。 开启电源，出现这个界面， 选择第一项。 2、载入完毕，弹出提示选择“sk...
tongweb中间件的安装使用 软件 开发中用到的中间件最常见的就是tomcat 比较多，当然也有nginx等，最近公司用的是tongweb , 从没听过啊，中文名是东方通，是中间件的国产版本。使用了几天感觉不太友好。启动慢，比tomcat难使用，反正是体验不太好，但是集成了很多功能，比如ejb, jpa,jdbc，应用容器等，好像是很强大。 我们有个平台就是部署在tongweb中的，但是搞了好几天一直没搞好，对应用部署页没什么经验，比较难操作。慢慢研究学习吧要使用的...
SQL 语法速成手册 本文针对关系型数据库的一般语法。限于篇幅，本文侧重说明用法，不会展开讲解特性、原理。篇幅较长，但内容基本涵盖了SQL语法的大部分内容。一、基本概念数据库术语 数据库（database）- 保存有组织的数据的容器（通常是一个文件或一组文件）。 数据表（table）- 某种特定类型数据的结构化清单。 模式（schema）- 关于数据库和表的布局及特性的信息。模式定义了数据在表中如何存储，包含存储什么样的数据，数据如何分解，各部分信息如何命名等信息。数据库和表都有模式。 ...
SQL优化干货总结 前言BATJTMD等大厂的面试难度越来越高，但无论从大厂还是到小公司，一直未变的一个重点就是对SQL优化经验的考察。一提到数据库，先“说一说你对SQL优化的见解吧？”。目录前言SELECT语句 - 语法顺序：SELECT语句 - 执行顺序：SQL优化策略一、避免不走索引的场景二、SELECT语句其他优化三、增删改 DML 语句优化四、查询条件优化五、建表优化有朋友疑问到，SQL优化真的有这么重要么？如下图所示，SQL优化在提升系统...
centos7升级ssh 到高版本操作 Linux系统 常用远程登录来管理运维机器。远程登录中最重要的服务就是ssh服务，一般低版本的ssh可能会存在漏洞，导致非法黑客入侵提权，增加系统的不安全。因此要确保ssh版本是修复漏洞后的稳定版本。1. 首先查看系统的ssh版本信息命令：ssh -VOpenSSH_8.0p1, OpenSSL 1.1.1c FIPS 28 May 2019这个版本不算太老，不过也建议升级到新版本的。2.可以先在测试环境进行，以防生产环境出现问题升级失败导致无法连接到主机就...
SQL优化总结 前言SELECT语句 - 语法顺序：SELECT语句 - 执行顺序：SQL优化策略一、避免不走索引的场景二、SELECT语句其他优化三、增删改 DML 语句优化四、查询条件优化五、建表优化有朋友疑问到，SQL优化真的有这么重要么？如下图所示，SQL优化在提升系统性能中是：（成本最低 && 优化效果最明显） 的途径。如果你的团队在SQL优化这方面搞得很优秀，对你们整个大型系统可用性方面无疑是一个质的跨越，真的能让你们老板省下不止几沓子钱。 优化成本
Google Chrome浏览器导入导出书签 Chrome浏览器是开发人员最常用的. 我们也习惯把自己遇到的一些好的内容进行收藏整理. 方便下次使用时快速找到. 不至于浪费很多的时间, 写博客也是可以更好的记录总结我们工作学习中遇到的错误和自己的学习总结, 建议大家养成写博客的习惯, 每一篇都认真记录总结, 让看的人能看懂, 解决掉他们遇到的困惑. 也方便日后自己回顾问题.1. 谷歌浏览器收藏书签和其他多数浏览器一样的, 操作很简单. 按快捷键Ctrl+D 即可.文件夹可以自...
Mysql 官方案例数据库Sakila db下载 摘要： MySQL数据库在互联网行业应用的非常广泛。平时我们在学习时如果在为没有测试数据发愁，MySQL也为广大用户提供了案例数据库，下载地址在官网就有的。MySQL 数据库Sakila 下载地址：https://downloads.mysql.com/docs/sakila-db.zip 希望帮助到有需要的朋友。...
各种数据库的数据类型和使用范围详解介绍 大家都知道数据库中存储的数据有很多中不同的类型。 下面介绍一下几种不同的数据库之间的数据类型。在 MySQL 中，有三种主要的类型：文本、数字和日期/时间类型。Text 类型： 数据类型 描述 CHAR(size) 保存固定长度的字符串（可包含字母、数字以及特殊字符）。在括号中指定字符串的长度。最多 255 个字符。 VARCHAR(size) 保存可变长度的字符串（可包含字母、数字以及特殊字符）。在括号中指定字符串的最大长...
Linux 服务器上快速配置阿里巴巴 OPSX NTP服务 centos 6系统是ntp.conf 文件编辑文件 "/etc/ntp.conf"，根据情况修改文件内容为：互联网上的服务器:driftfile /var/lib/ntp/driftpidfile /var/run/ntpd.pidlogfile /var/log/ntp.logrestrict default kod nomodify notrap nopeer noqueryrestrict -6 default kod nomodify notrap nope...
关注
