自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(45)
  • 收藏
  • 关注

原创 SparkUI任务启动参数介绍(148个参数)

SparkUI中有很多任务启动参数,需要对参数有一个深入了解才能进一步调优,资源优化

2024-02-16 12:18:48 1593

原创 oracle传入两个参数的的replace函数替换成hive方式

oracle2个参数的replace转换成hive实现。对于concat函数中加“\”分隔符需要使用6转义符。

2023-07-11 19:59:25 837

原创 oracle传入两个参数的的replace函数替换成hive方式

oracle2个参数的replace转换成hive实现。

2023-07-05 18:38:53 648

转载 Spark3.0新特性

Spark3.0新特性

2023-03-20 21:49:45 1347

原创 Linux中双小括号,双中括号用法总结

①整数扩展。这种扩展计算是整数型的计算,不支持浮点型。((exp))结构扩展并计算一个算术表达式的值,如果表达式的结果为0,那么返回的退出状态码 为1,或者 是"假",而一个非零值的表达式所返回的退出状态码将为0,或者是"true"。若是逻辑判断,表达式exp为真则为1,假则为0。#输出0(0是退出状态,要与返回值(为真)区别,可以理解为正常退出)((1<1))echo $?#输出一个正整数。

2023-03-14 22:39:39 1322

原创 Hive总结

Hive基础知识点总结

2023-03-06 12:03:16 516

原创 Linux部分节点网络无法连通

Linux部分节点网络无法连通

2023-03-03 10:04:15 888

原创 Scale相关Bug总结

Scale相关Bug总结

2023-02-20 19:16:30 261

原创 使用SparkStreaming时Jackson报错java lang ClassNotFoundException com fasterxml jackson core

java.lang.ClassNotFoundException: com.fasterxml.jackson.databind.Module,com.fasterxml.jackson.databind.Module

2023-01-31 20:48:02 2483 1

原创 Spark3.x报错Exception in thread “main“ java.lang.NoSuchFieldError: JAVA_9

Spark3.x报错Exception in thread "main" java.lang.NoSuchFieldError: JAVA_9

2023-01-31 19:36:50 1223

原创 Kafka处理单条超大信息的解决办法

Kafka处理单条超大信息的解决办法

2023-01-31 11:59:05 1589

原创 Spark提交任务到yarn 报错提示虚拟内存不足解决办法

Spark提交任务到yarn 报错提示虚拟内存不足解决办法

2023-01-27 21:58:52 962

原创 Exception in thread “main“ java.net.ConnectException: Call From hadoop101/192.168.10.12 to hadoop101

Exception in thread "main" java.net.ConnectException: Call From hadoop101/192.168.10.12 to hadoop101:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

2023-01-27 16:06:59 1964 1

原创 Scala下划线用法总结

Scala下划线用法总结

2023-01-26 22:52:38 256

原创 Scala2.12版本开发环境搭建

Scala2.12版本开发环境搭建

2023-01-26 20:30:06 1320

原创 HIve窗口函数汇总整理全部带实例

HIve窗口函数汇总整理全部带实例,可以进行快速查询需要的函数,并配有实例说明

2023-01-19 21:13:22 581

原创 HIve 导入分桶表数据报错Load into bucketed tables are disabled for safety reasons. If you know what you are do

HIve 导入分桶表数据报错SemanticException Please load into an intermediate table and use 'insert... select' to allow Hive to enforce bucketing. Load into bucketed tables are disabled for safety reasons. If you know what you are doing, please sethive.strict.checks.

2023-01-16 19:16:27 272

原创 Hive往分桶表表中导入数据

Hive往分桶表中导入数据

2023-01-16 18:47:34 930

原创 Hive数据导入和导出

HIve数据导入和导出

2023-01-16 14:59:37 308

原创 HIve中count(1),count(*),count(字段名)三种统计的区别

HIve中count(1),count(*),count(字段名)三种统计的区别

2023-01-16 13:20:32 1774

原创 HIve 2.3 启动脚本

HIve 2.3 启动脚本

2023-01-14 18:06:10 54

原创 Hive beeline客户端启动报错Could not open client transport with JDBC Uri: jdbc:hive2://hadoop101:10000: Fail

Hive beeline客户端启动报错`Could not open client transport with JDBC Uri: jdbc:hive2://hadoop101:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): Use

2023-01-14 17:37:55 3891

原创 mysql获取当前时间

** Mysql获取当前时间– 今天**SELECT DATE_FORMAT(NOW(),’%Y-%m-%d 00:00:00’) AS ‘今天开始’;SELECT DATE_FORMAT(NOW(),’%Y-%m-%d 23:59:59’) AS ‘今天结束’;– 昨天SELECT DATE_FORMAT( DATE_SUB(CURDATE(), INTERVAL 1 DAY), ‘%Y-%m-%d 00:00:00’) AS ‘昨天开始’;SELECT DATE_FORMAT( DAT

2022-03-17 17:18:07 4273

原创 Spring AOP切点表达式用法总结

Spring AOP切点表达式用法总结简介面向对象编程,也称为OOP(即Object Oriented Programming)最大的优点在于能够将业务模块进行封装,从而达到功能复用的目的。通过面向对象编程,不同的模板可以相互组装,从而实现更为复杂的业务模块,其结构形式可用下图表示:业务模块 面向对象编程解决了业务模块的封装复用的问题,但是对于某些模块,其本身并不独属于摸个业务模块,而是根据不同的情况,贯穿于某几个或全部的模块之间的。例如登录验证,其只开放几个可以不用登录的接口给用户

2021-12-23 21:58:58 323

原创 Springboot搭建restful接口读取MySql数据

目录一 需求二 pom依赖三 application配置文件四 接口实现1 分层2 实现1 Entity层2 Controller层3 Service层3 Service实现类4 Dao层5 启动类3 注意事项一 需求实现一个restful接口去读取mysql中的数据,按照日期去读取每5分钟的数据二 pom依赖 <!--jdbcTemplate支持--> <dependency> <groupId>org.springfr

2021-09-25 00:37:12 468

原创 Spark架构设计

spark架构设计1 角色名称Client,Driver program,cluster manager/Yarn,workerNode2 角色作用client:用户通过client提交application程序,shell命令等Driver:启动sparkContext环境,将application程序转换成任务RDD和DAG有向图,与clustermanger进行资源交互,分配task给workerNodecluster manger:作为spark的资源管理者,存储所有工作节点的元数据,.

2021-09-09 11:14:10 486

原创 数据仓库架构设计

一角色名称以及作用源数据落地区 位于hdfs原始数据以大文件的形式存放数据仓库层源数据层 将原始数据导入到的hive数据表中生产系统的原始数据,清洗掉不符合质量的数据,通常永久保留细节数据层 按照主题进行组织,数据粒度与源数据层一样汇总数据层 将细节数据层的数据进行轻度汇总,数据粒度与细节数据层保持一致数据集市层 数据管理平台,数据报表,数据挖掘等水平分层 只是描述数据仓库层垂直分主题数据仓库并不需要储存所有的原始数据,但数据仓库需要储存细节数据,并且导入的数据必须经过.

2021-09-08 21:07:14 482

原创 Hive分区分桶

场景:例如网站的日志文件,微博博文统计按日期存放等,数据量巨大的情况,分区查找提高查询效率,分桶是对分区更细粒度的划分,为什么要分桶?在分区数量过于庞大以至于可能导致文件系统崩溃时,我们就需要使用分桶来解决问题了在数据量足够大的情况下,分桶比分区,更高的查询效率。索引 :空间换时间 分区:时间换空间索引和分区最大的区别就是索引不分割数据库,分区分割数据库。索引其实就是拿额外的存储空间换查询时间,但分区已经将整个大数据库按照分区列拆分成多个小数据库了。分区和分桶最

2021-09-08 11:07:40 237

原创 Hive架构设计总结

一角色名称user interface,Metestore,hiveserver2,Driver二角色作用userInterface分为,hiveCli,hiveClient,hwi,其中最常用的是cli,cli启动的时候,会同时启动一个hive副本。client是hive的客户端,用户连接至hiveserver,在启动client模式的时候需要指出hiveserver所在节点,并在该节点启动hiveserver,作为用户与hive交互的窗口。metestore用于存储元数据,包括表库分区信息,.

2021-09-08 10:49:12 136

原创 Yarn架构设计

角色名称ResourceManager、NodeManager、ApplicationMaster和Container角色作用Client:面向用户提交的Driver代码,作为用户编程的接口,与ResourceManager交互。ResourceManager:整个集群只有一个是存活(active)的,负责集群资源的统一管理和调度负责整个集群的资源分配和调度处理来自客户端的请求,启动、杀死应用程序启动、监控ApplicationMaster,一旦一个AM挂了之后,RM将会在另一个Node..

2021-09-07 22:25:23 125

原创 mapreduce架构设计

1 首先用户提交作业代码,进行源数据切片处理2 master调用worker执行map任务3 worker载入源数据切片4 worker执行map任务,并将结果保存到本地。5 master调用worker执行reduce任务 reduce worker读取map的输出结果6 worker执行reduce任务,并将结果保存到HDFS...

2021-09-07 21:51:28 68

原创 大数据开发面试题总结(2021.9.6--)

1 shell脚本局部变量和全局变量 local定义局部变量2 hive建表未分区,数据是分区的 怎么装载? alter/msck修复分区 msck repair3 shell脚本日期格式化 例 202109061919 echo date '+%Y%m%d-%H%M%S'4 java多线程高并发 怎么优化,设置最大线程数量5 Hbase 和hivesql的查询语句的区别是什么Hive和Hbase是两种基于Hadoop的不同技术–Hive是一种类SQL的引擎,并且运行MapRedu

2021-09-07 19:58:24 362

原创 HDFS架构设计

架构设计一 角色名称及作用NameNode(简称NN)1 HDFS元数据管理者,管理NameSpace(文件系统命名空间),记录文件是如何分割成数据块以及他们分别存储在集群中的哪些数据节点上。2 NameSpace或其本身属性的任何更改都由NameNode记录,维护整个文件系统的文件和目录。DataNode(简称DN)DataNode是文件系统的工作节点。根据客户端或者NameNode发送的管理指令,负责HDFS的数据块的读写和检索操作。 通过心跳机制定期向NameNode发送他

2021-09-06 15:02:45 90

原创 Flink知识栈总结

一Flink基本介绍二Flink架构设计与运行流程运行模式**session模式**(Flink Session 集群(会话模式))per-job模式application模式运行模式总结三Flink经典实战案例与分析一Flink基本介绍背景在flink之前也出现了很多流数据处理引擎,包括storm、sparkstreaming等知名流行框架,但各自均有较明显的不足,导致没有达到理想的流处理引擎的标准要求。如何快速响应和处理这些大规模的实时数据流,成为众多互联网大厂的当务之急优秀流.

2021-08-30 21:38:08 195

原创 2021-06-07

安装了不兼容的APR(基于Apache Tomcat原生库)版本[1.1.29该问题的解决方法1 首先去apach官网上下载http://archive.apache.org/dist/tomcat/tomcat-connectors/native/1.2.14/binaries/tomcat-native-1.2.14-win32-bin.zip2下载以后选择符合自己版本的APR将解压后的dil文件tcnative-1.dll放入到java中JDK的bin目录下就可以了, 重启服务器就...

2021-06-07 20:17:11 178

原创 2021-05-05

HTML标签总结head标签:文档头部(描述文档的各种属性和信息,包含文档的标题、在Web中的位置以及其他文档的关系等;其中必须设置的标签是title);title标签:文档的标题(让页面拥有属于自己的标题);body标签:文档的主体(包含文档的所有内容);标签语法双标签语法:<标签名>...</标签名>例如:title标签,head标签,body标签;单标签(也称空标签,指一个标签符号即可完整地描述某个功能的标签)语法:<标签名/>例如:me

2021-05-05 21:10:35 76

原创 2021-05-05

JavaSE一 基础Java语音四大特性:垃圾回收机制,面向对象,跨平台,多线程;Java是解释型语言;Java是准动态语言;Java是强类型语言;因为JVM跨平台,不同操作系统安装不同的JVM,但是它们都能够识别class文件;public表示资源是公共的;class是定义类的关键字,一个源文件中可以定义多个class文件,但是public class只能有一个;main方法是Java程序的入口;代码中命名可以使用大小写字母,美元符号,下划线,数字,而且数字不能开头,也不能使用关

2021-05-05 21:09:41 146

原创 2021-04-26

一 DML (Data Manipulate Language(数据操作语言))Insert (用于向表中添加数据): insert into 表名 (列名1,列名2) values (值1,值2);Delete(用于删除表中的数据): delete from表名 where 列名 = 值;Update(用于更新表中的数据):update 表名 set 列名1=值 , 列名2=值 where 列名 = 值;Select(用于查询表中的数据) select 列限定 from 表限定...

2021-04-26 21:37:37 58

转载 2021-04-25

mysql创建表的sql语句mysql建表常用sql语句:连接:mysql -h主机地址 -u用户名 -p用户密码 (注:u与root可以不用加空格,其它也一样)断开:exit (回车)创建授权:grant select on 数据库.* to 用户名@登录主机 identified by \"密码\"修改密码:mysqladmin -u用户名 -p旧密码 password 新密码删除授权: revoke select,insert,update,delete om *.* from

2021-04-25 22:30:20 44

原创 2021-04-25

MySQL安装遇到的问题 mysql ERROR 1045 (28000)-- Access denied for user问题解决办法 首先打开my.ini文件在mysqld下面加上 skip-grant-tables然后关掉mysql服务 重启 随后解决方案如下1 进入bin目录下2 输入mysql -u -p 3 直接回车跳过密码4 修改密码 update user set password=password('root') where user = 'root'...

2021-04-25 20:27:16 44

nodepad风格设置配置文件

nodepad风格设置配置文件,可以参考

2023-06-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除