- 博客(17)
- 收藏
- 关注
RSS订阅原创 sqoop基础知识归纳
-target-dir /user/hive/warehouse/test.db/t_chongzhi2/day=20220728 \ --该路径为新创建的hive表的分区路径。--export-dir /user/hive/warehouse/test.db/t_chongzhi2/day=20230607 --需要导出的HDFS上数据的目录。--last-value '2022-08-26 18:40:38.1' \ --last-value要比上次更新的最后一个值大，本次更新需要大于该值。
2024-06-19 20:47:47
264
原创 大数据HIVE高频面试题
简单的讲，数据倾斜就是我们在计算数据的时候，数据的分散度不够，导致大量的数据集中到了一个或者几个分区上计算，造成数据倾斜问题，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。
2024-06-18 20:51:10
311
原创 HIVE 基础
lag(orderdate,2) over(partition by name order by orderdate) as t2 ----------看上上次的购买时间。-----------------insert overwrite table 表 select distinct * from 表；collection items terminated by '_' -----------指定MAP STRUCT ARRAY 的数据分隔符。
2024-06-14 16:50:11
384
原创 hadoop基础学习
1.1NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和所在的DataNode等。3.4Contanier:容器，相当于一台独立的服务器，里面封装了任务运行所需的资源，如内存，CPU，磁盘网络等。Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。主要解决，海量数据的存储和海量数据的分析计算问题。
2024-06-13 15:13:28
357
原创 sql基础
values (8024,'韩梅梅','SALESMAN',8021,to_date('20000101', 'YYYYMMDD'),3000,4000,40,sysdate);--索引生效，索引扫描。--索引生效，索引扫描。insert into emp_hit et --将更新过 新的数据插入 一直有效 时间为4712-12-31。alter table emp_job split partition p_new at (20) --不可以进行分离列表分区。--索引生效，索引扫描。
2024-06-09 22:08:54
210
原创 Shell编程基础
-------- for i in {首位..末位..步长} ---此种方式 首位 步长 末位 必须是具体值 ，不可以是变量。&& 与运算 [[ $a -lt 10 && $b -gt $a ]] 或者 [ $a -lt 10 ] && [ $b -gt $a ]echo ${变量:0-3:4} ---从倒数第三个开始截；使用变量：$变量名，${变量名}--建议使用 ----------abc=123, a=33 echo $abc。
2024-06-06 16:04:30
341
原创 Linux笔记之基础命令
' '$6==3000 || $6==5000' emp.txt ----进行逻辑判断 || 相当于 或。cut -c 按字符来剪切 cut -c 1-3 a.txt --也可以cut -c 1,2,3 a.txt。cut -b 按字节来剪切 cut -b 1-3 a.txt --也可以cut -b 1,2,3 a.txt。sed -e '4d' -e 's/hadoop/hello/g' -e '2a hadoop' mingling.txt --各重编辑同时执行。
2024-06-05 10:32:01
324
原创 Linux基础命令大全
' '$6==3000 || $6==5000' emp.txt ----进行逻辑判断 || 相当于 或。cut -c 按字符来剪切 cut -c 1-3 a.txt --也可以cut -c 1,2,3 a.txt。cut -b 按字节来剪切 cut -b 1-3 a.txt --也可以cut -b 1,2,3 a.txt。sed -e '4d' -e 's/hadoop/hello/g' -e '2a hadoop' mingling.txt --各重编辑同时执行。
2024-06-03 17:26:15
416
原创 分析函数/开窗函数
sum(sal) over(partition by deptno order by hiredate) as s3, --按deptno分组，组内数据累加。sum(sal) over(partition by deptno) as s2, --按deptno分组，组内数据相加。--查询SMITH的员工姓名,部门编号,职位,部门最高工资,职位工资总和,部门最早的入职日期。--查询30部门的员工姓名,部门编号,职位,部门最高工资,部门工资总和,部门最早的入职日期。外面单独写的order by 后执行。
2024-05-18 16:10:32
330
原创 Oracle日期函数to_char的使用方式
1) to_char(日期,'格式') 提取日期中的元素 -- ※※※※※※※※。to_char(sysdate,'day') 汉字星期,to_char(sysdate,'dy') 汉字星期二,select to_char(sysdate,'yyyy') 年,to_char(sysdate,'d') 数字星期,to_char(sysdate,'q') 季度 ,to_char(sysdate,'hh') 时,to_char(sysdate,'mi') 分,to_char(sysdate,'ss') 秒,
2024-05-17 16:20:32
619
原创 MyBatis集成EhCache
EhCache是Java写的。原文链接：https://blog.csdn.net/weixin_52496592/article/details/129452570。mybatis对外提供了接⼝，也可以集成第三⽅的缓存组件。集成EhCache是为了代替mybatis⾃带的⼆级缓存。⼀级缓存是⽆法替代的。第⼆步：在类的根路径下新建echcache.xml⽂件，并提供以下配置信息。第三步：修改SqlMapper.xml⽂件中的标签，添加type属性。第⼀步：引⼊mybatis整合ehcache的依赖。
2024-04-13 17:14:21
196
原创 mybatis集成logback日志框架
注意：logback.xml文件必须放在resource目录的根目录下。（logback框架实现了slf4j的日志标准）第二部：引入logback所必须的xml配置文件。第三步：运行测试查看日志信息即可。
2024-03-28 20:42:16
357
原创 Mybatis入门教学之Mybatis的基础用法流程
3、在项目中的resource目录下创建mybatis-config.xml配置文件并引入相关配置。1.映射文件中sql语句的id要与mapper接口名保持一致。2.映射文件中的namespace要与接口的全路径保持一致。2、再pom.xml中引入mybatis的相关依赖。5、创建mapper接口，并关联映射文件。4、创建mapper映射文件。注意：关联时要保持两个一致。6、创建测试类进行查询测试。
2024-03-26 11:34:17
183
原创 Jquery学习
jQuery是一个快速、简洁的 JavaScript 框架，是继Prototype之后又一个优秀的 JavaScript 代码库。jQuery的设计宗旨是“WriteLess，DoMore”，即倡导写更少的代码，做 更多的事情。jQuery封装了 JavaScript 常用的功能代码，提供一种简便的 JavaScript 设计模式，优化HTML文档操作、事件处理、动画设计和Ajax交互。jQuery的核心特性可以总结为：具有独特的链式语法和短小清晰的多功能接口；
2024-01-18 16:27:26
965
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人