- 博客(46)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 flink yarn-session 启动失败retrying connect to server 0.0.0.0/0.0.0.0:8032
flink yarn-session 启动失败retrying connect to server 0.0.0.0/0.0.0.0:8032
2023-12-13 17:58:01
893
原创 ambari hive on Tez引擎一直卡住
使用TEZ作为Hive默认执行引擎时，需要在调用Hive CLI的时候启动YARN应用，预分配资源，这需要花一些时间，而使用MapReduce作为执行引擎时是在执行语句的时候才会去启用YARN应用。所以说，hive on tez使用./bin/hive后一直卡住是假象，待预分配资源任务结束后，即可输入hive sql正常执行。hive on tez使用./bin/hive启动后一直卡住，无法进入命令行。
2023-12-08 11:44:35
456
原创 ambari 开启hdfs回收站机制
默认值为0 代表禁用回收站，其他值为回收站保存文件时间，单位为分钟：回收站数据判断是否需要清理的检查周期，单位为分钟，默认为 0 时等于fs.trash.interval的值，要求值不大于fs.trash.intervalambari中hdfs上的配置的fs.trash.interval在“”一栏中而在已有的配置项中没有找到，只能通过add property添加通过以上参数配置即完成了hdfs 回收站的开启。现在通过HDFS Web试用一下，此时可能出现权限问题，可以参照此篇博客解决，配置。
2023-12-06 17:28:38
335
原创 神通数据库备份
以windows11为例，进入到神通数据库安装目录bin子目录下，ctrl+L，输入cmd，执行oscaragent.exe -v即可查看）当删除物理备份任务被执行时，用任务执行时间减去备份文件创建时间，如果结果大于保存期，并且物理备份未被创建为永久保存状 态（创建物理备份时高级选项），该物理备份将会被删除。：选择“永久保存”后，此备份将不能被“删除物理备份类型操作任务”清除，只能手动 删除。将三个物理备份删除任务集成到一个调度计划中执行，每月1日01:00执行。：可分别选择完全备份、差异备份、增量备份。
2023-12-05 15:36:34
509
原创 利用kibana 快照备份es数据库
备注：但是由于我是单节点只有ambari-hadoop3上有es所以，三节点都做nfs共享文件，只是为了其余两节点能够通过拷贝nfs共享目录下的文件至本地做本地备份。在ambari-hadoop2、ambari-hadoop3节点上创建/hom/es_data_backup目录。在ambari-hadoop1上创建要共享的目录/data/es_backup。在ambari-hadoop2和ambari-hadoop3上安装nfs客户端。，将共享目录添加到配置中。step3：配置nfs客户端，挂载共享目录。
2023-11-27 15:26:46
1135
原创 Elasticsearch启动失败问题汇总
由于es和jdk是一个强依赖的关系，所以当我们在新版本的ElasticSearch压缩包中包含有自带的jdk，但是当我们的Linux中已经安装了jdk之后，就会发现启动es的时候优先去找的是Linux中已经装好的jdk，此时如果jdk的版本不一致，就会造成jdk不能正常运行。默认情况下，Elasticsearch 不提供预配置的用户名和密码，因此你需要创建相应的用户。版本elasticsearch-8.11.1，解压安装完后，修改安装目录下conf/jvm.options，为了解决这个问题，你需要增加。
2023-11-23 14:57:34
1975
原创 kettle python脚本SyntaxError: invalid syntax
之前执行都OK，没有问题但是时隔久了之后再次执行，弹出一个选择框让我选择 .py文件的执行程序，我默认选择了弹出来的python.exe（），然后就出现了如图报错，手动执行了python脚本却无报错。注意：py文件所在路径避免出现中文。再次执行成功解决报错。
2023-11-21 16:34:57
271
原创 python Lost connection to MySQL server during query
解决python插入大量数据时出现：python Lost connection to MySQL server during query问题
2023-11-20 16:38:54
660
原创 Error while compiling statement: FAILED: SemanticException Line 1:17 Invalid path
解决利用sqoop 导入mysql数据到hive过程遇到的Error while compiling statement: FAILED: SemanticException Line 1:17 Invalid path问题
2023-11-17 17:24:07
739
原创 ambari 服务组件报错解决
Oozie UI 启动过程中需要依赖Ext JS，而由于License的原因，HDP2.6以后的版本中Ext JS将不再被包含其中。尝试下载 Ext JS。SSL服务验证在之前已经关闭了，那么看看是否是用户权限问题，发现没有名为druid的用户和密码尝试创建完后再次尝试。虽然有文件了，但是大小不正确，没有下载完整所以安装失败。master启动失败，尝试再次重新启动，启动成功。oozie server启动失败，报错信息如下。看似启动成功，但是OOZIE web没法访问。先尝试重新启动一下，启动成功。
2023-11-16 16:45:19
1041
原创 flink广播流
step3：将普通主数据流和广播流进行connect，调用process方法，在process方法中通过自定义BroadcastProcessFunction继承的processElement方法和processBroadcastElement方法，分别对普通主数据流中事件和广播流中事件进行处理。个人认为当一个数据流需要另一个不停变化实时数据参与计算处理时，可以将不停变化的实时数据作为广播流，将两者connect从而满足，在不停止原有数据流处理任务的情况能实时满足变化的计算需求。
2023-09-19 11:09:05
336
原创 HBASE客户端超时问题
在遇到通过客户端API获取集群状态的时候，出现habse超时问题。代码如下： //获取集群的信息 public void getInfoCluster(){ System.out.println("开始执行"); ClusterMetrics clusterMetrics = null; try { clusterMetrics = admin.getClusterMetrics()...
2022-02-17 17:34:05
1830
原创 SVN配置文件解析
svn配置文件解析可以通俗理解为，authz就是权限分配管理，passwd就是用户认证，svnserve.conf就是根据前两者糅杂出的配置文件。
2022-01-10 17:42:48
2067
原创 并发控制-封锁
什么是封锁 封锁就是事务T在对某个数据对象操作之前，先向系统发出请求，对其加锁。加锁后事务T就对该数据对象有了一定的控制，在事务T释放它的锁之前，其它的事务不能更新此数据对象。一个事务对某个数据对象加锁后究竟拥有什么样的控制由封锁的类型决定。 锁类型 排他锁(X锁) 若事务T对数据对象A加上X锁，则只允许T读取和修改A，其它任何事务都不能再对A加任何类型的锁，直到T释放A上的锁。...
2021-12-28 11:37:33
958
原创 SQL SERVER触发器中instead of的坑
今天在编写一个instead of时机的insert触发器，遇到了这么一个坑。当对表进行insert操作时，insert触发器中的SQL语句可以顺利执行，但是insert语句却不得执行，数据插入不进表。 事后发现自己正中了instead of时机的坑，instead of触发器是在insert、update、delee这些操作进行之前就被激活了，并且不再去执行原来的SQL操作，而是用触发器内部的SQL语句代替执行。 那么我们现在通过一个例子来验证一下：...
2021-12-27 14:43:15
2045
2
转载 SQL SERVER Merge into语法
含义MERGE 语句是首先对源表和目标表都进行完全表扫描，然后拿源表和目标表检查，匹配条件，若成立则执行SQL语句1，不成立则执行SQL语句2,最执行SQL语句3。MERGE [ TOP ( expression ) [ PERCENT ] ] [ INTO ] <操作表> --即将做插入、更新、删除的表 USING <源表或者数据集或者子查询> --用户提供匹配条件来源的集合或者表 ON <匹配条件> --可...
2021-12-27 10:05:53
758
原创 SQL SEREVER中的自定义函数
目录1. 表量型函数2. 内联表值型函数3. 多语句表值型函数管理用户自定义函数SQL SERVER的函数是由一个或多个TSQL语句组成的用于实现某种功能的子程序，可以封装实现某功能的TSQL语句组以实现代码的重用。 用户可以根据自己的需求编写自定义函数，而自定义函数根据输出的类型可以分为以下三种：1. 表量型函数 标量型函数返回的是某种常规的数据类型，如INT、nchar等，但不能是text、ntext、image和ti...
2021-12-13 14:28:14
4755
原创 SQL SERVER存储过程
存储过程概念存储过程实际上是一组预编译的TSQL语句，作为一种数据库对象被保存起来。它可以接受一个多输入参数，也能返回一个或多个输出参数亦或返回结果集。存储过程的优点提高了处理复杂任务的能力。 增强了代码的复用率和共享性。 减少网络中的数据流量。 可作为安全机制使用，数据库用户可以得到权限来执行存储过程，而不必授权用户直接访问数据库对象的权限。存储过程的缺点如果需要对存储过程的输入参数进行更改，或更改返回的数据，则需要更改过程体中的代码，过程比较烦琐。 可移植性差。 很多存储过程
2021-12-08 16:19:01
838
原创 SSIS [FF_DST_PersonAddress [2]] 错误: Data conversion failed. The data conversion for column “AddressL
在使用SSIS从数据库导出数据到平面文件当中，遇到一个error重要信息：[FF_DST_PersonAddress [2]] 错误: Data conversion failed. The data conversion for column "AddressLine1" returned status value 4 and status text "文本被截断，或者一个或多个字符在目标代码页中没有匹配项。"....
2021-12-01 09:53:12
841
原创 SQL SERVER中的游标
游标的概念游标是一种能从包含多个元组的集合中每次读取一个元组的机制。游标总是和一段SELECT语句关联，SELECT语句查询出的结果集就作为集合，游标能每次从该集合中读取出一个元组进行不同操作。游标的作用将游标定位在结果集特定元组。 将游标指定结果集中的元组数据读出。 利用循环读取结果集中的多个元组数据。 对游标指定结果集的元组进行数据修改。 为其它用户设置结果集数据的更新限制。 提供脚本、存储过程和触发器中访问结果集中数据的TSQL语句。SQL SERVER游标类型...
2021-11-18 16:40:06
10918
原创 SQL SERVER流程控制语句
BIGIN...AND语句BEGIN...AND语句能够将多个TSQL语句组合成一个语句块，并将它们视为一个单元处理。BEGIN <TSQL语句>[,...] [<BEGIN...END>][,...n]]END判断语句IF...ELSE语句IF <条件表达式> <语句块>[ELSE [条件表达式]] <语句块>CASE语句--第一种使用方式CASE <输入条件表达式&g
2021-11-17 17:33:23
494
原创 SQL server常用系统函数
目录字符串函数类型转换函数数值函数日期函数判断函数聚集函数字符串函数函数表达式 功能 SUBSTRING(表达式,起始位置,长度) 取子串 RIGHT(表达式,长度) 右边取子串 STR(浮点数[,总长度[,小数位]]) 数值型转字符型 LTRIM( 表达式)、RTRIM(表达式) 取除左、右空格 CHARINDEX(子串,母串) 返回子串起始位置 类型转换函数函数表达式 功能 CONVE.
2021-11-17 17:01:20
329
原创 SQL SERER系统概述
SQL SERVER是一种类似于MYSQL的关系型数据库。SQL SERVER系统简介SQL SERVER系统数据库SQL server自带5中数据库1. master数据库是SQL SERVER中最重要的数据库，记录了SQL SERVER系统的所有级别的信息。一旦master数据库被损坏，则系统无法正常启动。2. tempdb数据库tempdb数据库是一个临时的数据库，它保存所有的临时表、临时存储过程和临时操作结果。tempdb在SQL SERVER每次启动时都重新创建，运
2021-11-17 16:38:16
1931
Flink 接收不到Kafka数据
2023-06-16
安装Hue-4.7 make apps出现报错
2021-03-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人