依然饭特稀33-CSDN博客

转载 shell

1. Shell概述大数据程序员为什么要学习Shell呢？1）需要看懂运维人员编写的Shell程序。2）偶尔会编写一些简单Shell程序来管理集群、提高开发效率。2. Shell解析器（1）Linux提供的Shell解析器有：[root@master ~]$ cat /etc/shells /bin/sh #是bash的一个快捷方式 /bin/bash #bash是大多数Linux默认的shell，包含的功能几乎可以涵盖shell所有的功能 /sbin/nologin #表示非交互，不能

2022-05-14 13:28:31 1970

原创常用软件1

常用工具汇总Teradata Administrator 14.10 TD工具，查看分层和表结构Teradata SQL Assistant TD执行sql工具例：select top 10 * from pcrm_view_dev.testDBeaver 开源数据库工具Beyond Compare 3 差异比对工具，支持文件比对和文件夹比对Filezilla 文件传输工具PowerDesigner 数据模型工具FireFly Client 版本管理notepad++ 代码编写Vis

2022-05-14 08:33:35 227

原创 hbase相关

文章目录hbase1.结构化数据和非结构化数据、半结构化数据的区别2.hbase操作3.rowkey设计原则3.1 Rowkey的唯一原则3.2 Rowkey的排序原则3.3 Rowkey的散列原则4. Rowkey的长度原则hbase1.结构化数据和非结构化数据、半结构化数据的区别计算机信息化系统中的数据分为结构化数据和非结构化数据、半结构化数据。结构化数据，是指由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。也称作行数据，一般特点是：数据以

2022-05-14 08:30:45 394

原创 pg相关1

文章目录pg1. 常用命令2 PostgreSQL 模式（SCHEMA）3.常见问题3.1 pg数据库无法删除，报错3.2 sqoop导入pg11缺少驱动3.3 清空pg数据库为新建的状态pg1. 常用命令\l 查看所有库\d 查看所有表\d test 查看表结构\c testdb切换数据库2 PostgreSQL 模式（SCHEMA）PostgreSQL 模式（SCHEMA）可以看着是一个表的集合。一个模式可以包含视图、索引、数据类型、函数和操作符等。相同的对象名称可以被用于不同的

2022-05-14 08:29:55 217

转载 hadoop相关

文章目录hadoop相关概述1.Yarn资源调度工作原理和调度策略1.1 Yarn组成1.2 Yarn调度原理1.3 Yarn的调度策略1.4 TD\GS数仓分层1.5 hive调优3个层面2.hdfs与hive2.1 hdfs的体系结构2.2 hive架构2.2.1 hive存储格式2.3 hive内部表和外部表区别3.常用语句/命令3.1 hive sql3.2 hdfs3.3 UDF3.4 hive函数4.hive数据倾斜解决方案4.1 map端4.2 reduce端4.2.1 hive表的优化4.2

2022-05-14 08:28:06 939

原创 mysql相关

文章目录mysql相关1.基本概念1.1索引索引有哪几种建立索引的优劣1.2.视图1.3数据库三范式2.常用函数1.1 时间函数1.2 字符串函数1.3 条件表达式1.4 聚合函数1.5 开窗函数1.6 AB表开发1.7 拉链表1.8 批量更新表语句1.9 表关联测试2.sql优化5.存储过程6.什么时候用union和union all ?7.对于distinct与group by的使用8.常用命令9.乐观锁和悲观锁mysql相关1.基本概念1.1索引索引有哪几种单列索引（普通索引：允许空值和重复

2022-05-14 08:21:39 276

转载 linux

文章目录linux相关1.文件/目录1.1目录结构1.2 文件权限2.常用命令2.1 基本命令2.2 两台Linux服务器之间复制文件2.3修改环境变量3.linux打包、解压4.find5.shell脚本相关5.1 常用语句5.2 脚本调试5.3配置文件5.4 source5.5 管道6.其他6.1 linux网速慢6.2 xshell使用6.3 pinglinux相关1.文件/目录1.1目录结构/usr系统级的目录，可以理解为C:/Windows//usr/lib理解为C:/Windows

2022-05-14 08:08:58 170

qq_38670470的博客