- 博客(23)
- 收藏
- 关注
RSS订阅原创 【无标题】hadoop3.0集群第一次初始化失败
hadoop集群初始化时失败,异常情况,在namenode节点执行格式化命令之后:hdfs namenode -format,在控制台日志的最开始的地方报异常情况:在tmp下创建文件失败,导致hadoop-username-datanode.pid 和hadoop-username-namenode.pid创建失败,权限问题[lgf@linux1 tmp]$ sudo chmod 777 -R /tmp...
2022-01-08 16:36:13
1609
原创 微星MS16j9鼠标面板可以移动指针，无法通过面板点击
微星MS16j9的鼠标面板使用的是synaptics 驱动程序，查看任务栏下面的图标，这个就是synaptics定点装置，synaptics定点装置指的是笔记本电脑的触摸板，它上面有红色的叉叉表示笔记本电脑连接的有鼠标，它被关闭了，也就是使用鼠标操作的时候，触摸板就不起作用了。将触击代替击键打开就可以，使用面板触击代替鼠标左键了。如果在任务栏中没有这个标志，尝试Fn+F3 点击一下，如果还是没有，就点击通知栏点击个性化点击任务栏开启，在尝试Fn+F3 即可...
2021-12-07 16:20:18
1378
原创 spark 在window启动spark-shell.cmd异常:Master must either be yarn or start with spark, mesos, k8s, or loca
spark-3.0.3-bin-hadoop2.7.tgz解压至D:盘，启动spark-shell.cmd出现异常：Exception in thread “main” org.apache.spark.SparkException: Master must either be yarn or start with spark, mesos, k8s启动spark客户端：D:\spark-3.0.3-bin-hadoop2.7\bin>spark-shell.cmdJava HotSpot(T
2021-10-27 15:30:37
3393
2
原创 2022年节假日json
2022年节假日json说明：0 表示工作日1 表示周末2 表示节假日[{ "dayStr": "20220101", "type": "2" }, { "dayStr": "20220102", "type": "2" }, { "dayStr": "20220103", "type": "2" }, { "dayStr": "20220104",
2021-10-26 15:56:11
1367
10
原创 shell的wait等待多后台执行
测试shell中的wait,linux版本Linux 3.10.0-327.62.59.83.h162.x86_64 x86_64,在a.sh脚本中调用b.sh和c.sh脚本a.sh脚本的内容#!/bin/bashsh b.sh &sh c.sh &waitecho 'a脚本' `date` 执行完成b.sh脚本的内容:#!/bin/bashecho 'start b' `date`sleep 20secho 'b执行完成' `date`c.sh的脚本#!/b
2021-09-14 10:49:34
2381
原创 Put request failed : INSERT INTO “PARTITION_PARAMS“ (“PARAM_VALUE“,“PART_ID“,“PARAM_KEY“) VALUES (?,
java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. MetaException(message:Put request failed : INSERT INTO “PARTITION_PARAMS” (“PARAM_VALUE”,“PART_ID”,“PARAM_KEY”) V
2021-09-08 08:52:52
1121
原创 azkaban的flow文件邮件配置
在使用azkaban-flow-version: 2.0,邮件配置完成,在工作流的配置文件中配置任务失败的邮件地址# 配置全局异常任务失败后,邮件接收联系人config: failure.emails: lllxx@qq.com nodes: - name: noexist type: command config: command: sh /tmp/noexist.sh retries: 2 retry.backoff: 1000 在job.f
2021-08-13 14:35:25
348
原创 sed的一次使用记录
#!/bin/bash#展示文件夹下的文件前几行dir=/tmp/data/hasbeeline.txt#dir=/tmp/data/file.txtfor file in cat $dirdohead -n 10 $file#echo $file替换第一行sed -i ‘1c #!/bin/bash -x’ $file将函数插入第一行sed -i ‘1a function monitor_command_exec_issuccee(){\nif [ $? -ne 0 ]; then
2021-08-13 11:46:52
95
原创 azkaban执行sh监控beeline操作
使用azkaban调度shell脚本执行任务,flow文件内容为:nodes: - name: test type: command config: command: sh /tmp/exec.sh问题描述:当执行sql中的表不存在的时执行的脚本内容为:sql="insert into table ab values ("aa");beeline -e "$sql"azkaban执行job结果显示成功.查看log06-08-2021 10:41:01 CST
2021-08-06 11:42:09
432
原创 shell获得当月1日,上月最后一个周一,当前周一日期
# 判断shell脚本是否有日期参数传入,if [ -n "$1" ] ;then do_date=$1else do_date=`date -d "today" +%Y%m%d` echo "当前日期为:${do_date}"fiecho ${do_date}#当前时间#当周周一日期whichday=`date -d $do_date +%w`;echo $whichdayif [ $whichday == 0 ] ;then
2021-08-06 10:03:53
645
原创 azkaban日志重定向问题记录
azkaban在使用过程中,想着将shell脚本的日志进行重定向.```shellnodes: name: shtype: commandconfig:command: sh /tmp/lgftemp/sh.sh >> ./outaaa.log
2021-08-06 09:59:44
318
原创 启动hive客户端查询时,报错FAILED: HiveException java.lang.RuntimeException:
启动hive的客户端:查询是出现下面错误show databases;FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClienthive已进行:初始化 Hive 元数据库schematool -initSchema -dbType mysql -verbose查询原因:网上说明汇总1.hiv
2021-05-21 11:43:41
1938
原创 hadoop测试集群wordcount错误代码127Container exited with a non-zero exit code 127. Error file: prelaunch.err.
hadoop安装成功以后,执行内置jar包统计单词数量的时候出现错误:错误内容:[root@bigdata01 hadoop]# hadoop jar /opt/software/hadoop_back/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar wordcount /input /output2021-05-20 09:15:41,737 INFO client.RMProxy: Connecting to ResourceM
2021-05-20 11:34:31
2333
2
原创 hive表数据查询多个分区
查询ods_deal数据多个分区的数据#day为一天数分区的数据select * from ods_deal where day in (20210414,20210415);
2021-04-20 13:59:34
2224
原创 hive建表语句
创建一个外部表 CREATE EXTERNAL TABLE `dwd_dd`( `bsn_date` string, `sal_order_id` int, `sale_type` int, `lm_total_transacc` decimal(11,2))
2021-04-17 11:11:00
399
原创 Window系统重置系统后，帐户被禁用
方法一：①开始→运行→输入：CMD 点击确定（或按回车键），打开命令提示符窗口。② 键入 net user administrator /active:yes。输完后按一下回车键。③看到“命令成功完成”信息即表明系统管理员 Administrator 账户已启用...
2021-03-10 23:03:12
316
原创 自定义加载java数据库驱动异常
我们可以用自定义的 URLClassLoader 从外部动态加载类，并使用它。但数据库驱动的管理类 DriverManager 却不比较苛刻，不承认非当前应用系统加载器加载的驱动类。见 DriverManager 的 JavaDocWhen the method getConnection is called, the DriverManager will attempt to locate a suitable driver from amongst those loaded at initializa
2020-11-05 11:26:36
516
原创 2020-06-10
记录一次linux中java进程的cpu使用率过大问题将项目部署到linux上时，启动项目，过了两分钟，cpu使用率达到800%.使用top 命令查看，top -p 12368,发现cpu利用率居高不下，使用命令jstack -l 12368 > js tack.log输出日志，查看日志文件中有大量的GC,说明代码中有大量对象产生，或者有大对象。对本地代码查询发现在定时任务，执行的方法中有大量循环和对象的产生，关闭定时任务，优化代码后，本项目cpu利用率正常...
2020-06-10 14:37:06
149
原创 BigDecimal的最大值，最小值，中位数，排序操作
BigDecimal的最大值，最小值，中位数，排序操作由于使用double数组对数据进行操作会引起精度损失，所以使用BigDecimal进行计算package com.test.annotation.test.test;import java.math.BigDecimal;import java.util.ArrayList;import java.util.Collection...
2020-05-01 16:33:09
9990
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人