大数据
文章平均质量分 76
SYBY
这个作者很懒,什么都没留下…
展开
-
sql窗口函数的作用、分类与使用
LAST_VALUE()的括号中需要填写一个表中存在的字段。举个栗子:计算得出部门id为50或60且薪资大于5000的员工,且得出部门中薪资最多的一个人。RANGE BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING) AS '部门中薪资最多的一个人' FROM employees WHERE salary > 5000 AND department_id IN('60' , '50');原创 2022-11-03 22:16:00 · 925 阅读 · 1 评论 -
Linux系统下的hadoop常用命令
选项: - f选项将在文件增长时输出附加数据,如在Unix中一样。原创 2022-09-28 11:10:20 · 1824 阅读 · 0 评论 -
hive的删库、表和装载数据
①:为了保证HDFS上有文件地址,首先mkdir文件地址,加-p可以创建多级目录。判断数据库是否存在,存在了删除。如果数据库不为空,强制删除加上cascade。最后,加载HDFS上的数据到表中,或者加载HDFS上的数据覆盖到表中数据。将数据上传到HDFS上后,导入hive表的操作。判断表是否存在,存在了删除表以及表结构。判断表是否存在,存了,即删除表的数据。序列化和反序列化根据自己需求设置。其次,上传文件到HDFS上。...原创 2022-08-31 17:25:40 · 886 阅读 · 0 评论 -
kafka-flink-mysql的流程
*//弃用的驱动 dataSource . setDriverClassName("com.mysql.cj.jdbc.Driver");dataSource . setPassword("自己的密码");} }/*log . info("获取数据库连接");//连接数据库 connection = DatabasesUtil . getConnection();//关闭自动提交 connection . setAutoCommit(false);...原创 2022-08-04 11:13:52 · 862 阅读 · 0 评论 -
数仓项目踩坑记录与解决方法总结
记录在学习数仓项目时,运行程序所出现的问题,与解决方法。问题1 :超出虚拟内存限制 beyond the ‘VIRTUAL’ memory limit报错内容:Container [pid=17246,containerID=container_1653382813166_0005_01_000002] is running 562797056B beyond the 'VIRTUAL' memory limit. Current usage: 422.6 MB of 1 GB physical me原创 2022-07-26 10:06:44 · 1144 阅读 · 0 评论