biuubi-CSDN博客

原创记flink sql 1.11.3的一次bug java.lang.Long cannot be cast to java.lang.Integer

具体情况没有复现出来，瞎改改好了，主要是太菜了。具体情况为：关联维表时报的错，所以我就专门读取维表进行了打印CREATE TABLE `dim_area` (" + " `district_id` int," + " `pid` int," + " `district` string," + " `level` int," + " PR

2021-11-14 15:19:57 3369

原创记使用flink1.11.3 org/apache/flink/api/common/state/CheckpointListener

Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/flink/api/common/state/CheckpointListener使用的mysql-cdc的依赖版本太高了，降低版本就好了，真烦死了<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins

2021-11-11 21:59:29 2792

原创 scala 入门练习

scala 入门练习1:输入两个数，按从小到大排序后输出2:输入三个数(互不相同)，并将三个升序输出(升序(从小到大)3:输入一个年份，判断是否是闰年能被400整除能被4整除，不能被100整除4.输入一个时间，输出它的下一秒时间。20:39:40 -->20:39:4120:39:59 -->20:40:0020:59:59 -->21:00:0023:59:59 -->00:00:005.输出1000以内所有的水仙花数，所谓水仙花数是指一个3位数，其各位数字立

2021-05-31 19:46:46 700

原创记使用azkaban的遇到的错误

[hadoop@hadoop001 azkaban-solo-server]$ bin/start-solo.sh2021/05/28 21:51:54.381 +0800 ERROR [AzkabanWebServer] [Azkaban] Failed to start single server. Shutting down.java.io.IOException: Cannot find ‘database.properties’ file in /opt/apps/azkaban/solose

2021-05-28 22:02:57 637

原创记配置grafana监控propemetheus的错误

报错信息如下2021-05-28 21:38:12,091 DEBG 'prometheus' stdout output:level=debug ts=2021-05-28T13:38:12.091Z caller=scrape.go:962 component="scrape manager" scrape_pool=prometheus target=http://hadoop:9090/metrics msg="Scrape failed" err="Get http://hadoop:9090

2021-05-28 21:50:34 446

原创记使用supervisor管理flume进程时，往hdfs到数据缺少依赖错误

Failed to start agent because dependencies were not found in classpath. Error followsERROR [conf-file-poller-0] (org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run:150) - Failed to start agent because dependencies we

2021-05-27 20:39:45 492

原创记sqoop导入hive时的一次报错

记sqoop导入hive时的一次报错Cannot inspect org.apache.hadoop.io.IntWritable脚本如下：#sqoop安装路径SQOOP_HOME=/opt/apps/sqoop-1.4.7#mysql连接MYSQL_CONNECT=jdbc:mysql://hadoop:3306/biz?useSSL=falseMYSQL_USERNAME=rootMYSQL_PASSWORD=123456##定义一个日期，如果指定了日期就导入该日期前一天的数据，

2021-05-26 13:25:35 542

原创 sqoop导mysql业务数据遇到的问题 java.lang.NullPointerException

mysql是5.7，sqoop版本为1.4.6，更换sqoop1.4.7后成功

2021-05-25 10:53:40 212

原创 hive显示数据库和表名的配置

<property> <name>hive.cli.print.header</name> <value>true</value> <description>Whether to print the names of the columns in query output.</description> </property> <property

2021-05-24 20:02:40 194

转载 Hdfs页面操作文件出现 Permission denied: user=dr.who, access=WRITE, inode=“/“:hadoop:supergroup:drwxr-xr问题解决

错误描述：Permission denied: user=dr.who, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x先开始一直纠结我是用hadoop用户登录操作的，为什么会是dr.who，dr.who其实是hadoop中http访问的静态用户名，并没有啥特殊含义，可以在core-default.xml中看到其配置，hadoop.http.staticuser.user=dr.who我们可以通过修改core-site.xml，配置为当前用户，

2021-05-24 19:21:33 10507

原创 yarn webUI不显示job进度

配置mapred-site.xml<property> <name> mapreduce.framework.name</name> <value>yarn</value></property>

2021-05-24 19:03:53 463

原创记sqoop的导入hdfs的一次异常sqoop import can not find Class ＜tablename＞

spoop导入mysql表为user，这里只是简单的测试下，本以为能正常跑，但是报错了如上图解决方式–>sqoop import --connect jdbc:mysql://hadoop:3306/sqoop?useSSL=false --username root --password 123456 --target-dir /sqoop_data --split-by id --table t_user --fields-terminated-by ','.

2021-05-24 18:51:35 187

biuubi的博客