自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(23)
  • 收藏
  • 关注

原创 阿里云maxcompute2.0通过sql获取每个月的最后一天日期

maxcompute2.0获取知道月份的最后一天日期

2023-02-06 13:59:05 417

原创 MYSQL的and和or优先级比较

mysql and 和or的优先级测试

2022-05-06 10:43:11 1553

原创 hadoop3.0启动后jps没有进程

hdfs启动后,jps查询不到进程号

2022-01-08 16:45:57 2110

原创 【无标题】hadoop3.0集群第一次初始化失败

hadoop集群初始化时失败,异常情况,在namenode节点执行格式化命令之后:hdfs namenode -format,在控制台日志的最开始的地方报异常情况:在tmp下创建文件失败,导致hadoop-username-datanode.pid 和hadoop-username-namenode.pid创建失败,权限问题[lgf@linux1 tmp]$ sudo chmod 777 -R /tmp...

2022-01-08 16:36:13 1609

原创 微星MS16j9鼠标面板可以移动指针,无法通过面板点击

微星MS16j9的鼠标面板使用的是synaptics 驱动程序,查看任务栏下面的图标,这个就是synaptics定点装置,synaptics定点装置指的是笔记本电脑的触摸板,它上面有红色的叉叉表示笔记本电脑连接的有鼠标,它被关闭了,也就是使用鼠标操作的时候,触摸板就不起作用了。将触击代替击键打开就可以,使用面板触击代替鼠标左键了。如果在任务栏中没有这个标志,尝试Fn+F3 点击一下,如果还是没有,就点击通知栏点击个性化点击任务栏开启,在尝试Fn+F3 即可...

2021-12-07 16:20:18 1377

原创 spark 在window启动spark-shell.cmd异常:Master must either be yarn or start with spark, mesos, k8s, or loca

spark-3.0.3-bin-hadoop2.7.tgz解压至D:盘,启动spark-shell.cmd出现异常:Exception in thread “main” org.apache.spark.SparkException: Master must either be yarn or start with spark, mesos, k8s启动spark客户端:D:\spark-3.0.3-bin-hadoop2.7\bin>spark-shell.cmdJava HotSpot(T

2021-10-27 15:30:37 3390 2

原创 2022年节假日json

2022年节假日json说明:0 表示工作日1 表示周末2 表示节假日[{ "dayStr": "20220101", "type": "2" }, { "dayStr": "20220102", "type": "2" }, { "dayStr": "20220103", "type": "2" }, { "dayStr": "20220104",

2021-10-26 15:56:11 1367 10

原创 shell的wait等待多后台执行

测试shell中的wait,linux版本Linux 3.10.0-327.62.59.83.h162.x86_64 x86_64,在a.sh脚本中调用b.sh和c.sh脚本a.sh脚本的内容#!/bin/bashsh b.sh &sh c.sh &waitecho 'a脚本' `date` 执行完成b.sh脚本的内容:#!/bin/bashecho 'start b' `date`sleep 20secho 'b执行完成' `date`c.sh的脚本#!/b

2021-09-14 10:49:34 2380

原创 Put request failed : INSERT INTO “PARTITION_PARAMS“ (“PARAM_VALUE“,“PART_ID“,“PARAM_KEY“) VALUES (?,

java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. MetaException(message:Put request failed : INSERT INTO “PARTITION_PARAMS” (“PARAM_VALUE”,“PART_ID”,“PARAM_KEY”) V

2021-09-08 08:52:52 1121

原创 azkaban的flow文件邮件配置

在使用azkaban-flow-version: 2.0,邮件配置完成,在工作流的配置文件中配置任务失败的邮件地址# 配置全局异常任务失败后,邮件接收联系人config: failure.emails: lllxx@qq.com nodes: - name: noexist type: command config: command: sh /tmp/noexist.sh retries: 2 retry.backoff: 1000 在job.f

2021-08-13 14:35:25 348

原创 sed的一次使用记录

#!/bin/bash#展示文件夹下的文件前几行dir=/tmp/data/hasbeeline.txt#dir=/tmp/data/file.txtfor file in cat $dirdohead -n 10 $file#echo $file替换第一行sed -i ‘1c #!/bin/bash -x’ $file将函数插入第一行sed -i ‘1a function monitor_command_exec_issuccee(){\nif [ $? -ne 0 ]; then

2021-08-13 11:46:52 95

原创 azkaban执行sh监控beeline操作

使用azkaban调度shell脚本执行任务,flow文件内容为:nodes: - name: test type: command config: command: sh /tmp/exec.sh问题描述:当执行sql中的表不存在的时执行的脚本内容为:sql="insert into table ab values ("aa");beeline -e "$sql"azkaban执行job结果显示成功.查看log06-08-2021 10:41:01 CST

2021-08-06 11:42:09 432

原创 shell获得当月1日,上月最后一个周一,当前周一日期

# 判断shell脚本是否有日期参数传入,if [ -n "$1" ] ;then do_date=$1else do_date=`date -d "today" +%Y%m%d` echo "当前日期为:${do_date}"fiecho ${do_date}#当前时间#当周周一日期whichday=`date -d $do_date +%w`;echo $whichdayif [ $whichday == 0 ] ;then

2021-08-06 10:03:53 645

原创 azkaban日志重定向问题记录

azkaban在使用过程中,想着将shell脚本的日志进行重定向.```shellnodes: name: shtype: commandconfig:command: sh /tmp/lgftemp/sh.sh >> ./outaaa.log

2021-08-06 09:59:44 318

原创 启动hive客户端查询时,报错FAILED: HiveException java.lang.RuntimeException:

启动hive的客户端:查询是出现下面错误show databases;FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClienthive已进行:初始化 Hive 元数据库schematool -initSchema -dbType mysql -verbose查询原因:网上说明汇总1.hiv

2021-05-21 11:43:41 1938

原创 hadoop测试集群wordcount错误代码127Container exited with a non-zero exit code 127. Error file: prelaunch.err.

hadoop安装成功以后,执行内置jar包统计单词数量的时候出现错误:错误内容:[root@bigdata01 hadoop]# hadoop jar /opt/software/hadoop_back/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar wordcount /input /output2021-05-20 09:15:41,737 INFO client.RMProxy: Connecting to ResourceM

2021-05-20 11:34:31 2332 2

原创 hive表数据查询多个分区

查询ods_deal数据多个分区的数据#day为一天数分区的数据select * from ods_deal where day in (20210414,20210415);

2021-04-20 13:59:34 2224

原创 hive建表语句

创建一个外部表 CREATE EXTERNAL TABLE `dwd_dd`( `bsn_date` string, `sal_order_id` int, `sale_type` int, `lm_total_transacc` decimal(11,2))

2021-04-17 11:11:00 399

原创 Window系统重置系统后,帐户被禁用

方法一:①开始→运行→输入:CMD 点击确定(或按回车键),打开命令提示符窗口。② 键入 net user administrator /active:yes。输完后按一下回车键。③看到“命令成功完成”信息即表明系统管理员 Administrator 账户已启用...

2021-03-10 23:03:12 315

原创 自定义加载java数据库驱动异常

我们可以用自定义的 URLClassLoader 从外部动态加载类,并使用它。但数据库驱动的管理类 DriverManager 却不比较苛刻,不承认非当前应用系统加载器加载的驱动类。见 DriverManager 的 JavaDocWhen the method getConnection is called, the DriverManager will attempt to locate a suitable driver from amongst those loaded at initializa

2020-11-05 11:26:36 516

原创 2020-07-27

js处理文本,英文单词进行完整匹配(全量匹配)正则表达式正则表达式. /\b待替换的英文字母\b/img

2020-07-27 09:22:14 154

原创 2020-06-10

记录一次linux中java进程的cpu使用率过大问题将项目部署到linux上时,启动项目,过了两分钟,cpu使用率达到800%.使用top 命令查看,top -p 12368,发现cpu利用率居高不下,使用命令jstack -l 12368 > js tack.log输出日志,查看日志文件中有大量的GC,说明代码中有大量对象产生,或者有大对象。对本地代码查询发现在定时任务,执行的方法中有大量循环和对象的产生,关闭定时任务,优化代码后,本项目cpu利用率正常...

2020-06-10 14:37:06 149

原创 BigDecimal的最大值,最小值,中位数,排序操作

BigDecimal的最大值,最小值,中位数,排序操作由于使用double数组对数据进行操作会引起精度损失,所以使用BigDecimal进行计算package com.test.annotation.test.test;import java.math.BigDecimal;import java.util.ArrayList;import java.util.Collection...

2020-05-01 16:33:09 9989

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除