自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

小蚯蚓的博客

大数据hadoop和linux,java等编程和框架设计

  • 博客(721)
  • 资源 (10)
  • 问答 (1)
  • 收藏
  • 关注

原创 python链接mysql报错:No module named MySQLdb

python链接mysql报错:No module named MySQLdb

2022-11-10 17:33:26 321

原创 python报错:Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问。

python安装pip报错

2022-11-08 19:19:31 155

原创 项目运行npm run dev报错npm ERR! myvue@1.0.0 dev: `webpack-dev-server --inline --progress --config build/we

npm run dev webpack

2022-10-01 00:30:00 92

原创 前后端跨域问题解决: No ‘Access-Control-Allow-Origin’ header is present on the requested resource

前后端跨域问题cros

2022-09-05 19:20:20 1269

原创 VMware解决问题(6):替换网卡

vmware:替换网卡

2022-08-26 16:25:13 250

原创 VMware解决问题(5):本地无法ping通vmware虚拟机,但是vmware虚拟机可以访问外网

vmware

2022-08-26 16:13:55 497

原创 mysql:关闭当前运行sql(存储过程、查询以及insert等)

mysql关闭当前运行sql语句

2022-06-19 16:46:35 1159

原创 spark sql读取sql server报错:com.microsoft.sqlserver.jdbc.SQLServerException: Invalid object name ‘dbo.st

一、问题描述Sparksql 读取sql server链接报错:Exception in thread "main" com.microsoft.sqlserver.jdbc.SQLServerException: Invalid object name 'dbo.state'. at com.microsoft.sqlserver.jdbc.SQLServerException.makeFromDatabaseError(SQLServerException.java:258) at com.m

2022-05-20 20:16:59 505

原创 Flink sql:Table sink doesn‘t support consuming update and delete changes which is produced by node

一、问题描述Flink sql将kafka作为join的输出,报错:Exception in thread "main" org.apache.flink.table.api.TableException: Table sink 'default_catalog.default_database.ods_t' doesn't support consuming update and delete changes which is produced by node Join(joinType=[LeftO

2022-05-05 18:08:37 1874

原创 SQL Server报错:Arithmetic overflow error converting expression to data type int.

一、问题描述sql server(sql dw)查询一张表数据个数,使用count报错select count(*) from test.test_t;然后报错:SQL 错误 [8115] [S0002]: Arithmetic overflow error converting expression to data type int.二、问题原因数据量比较大,直接用count查询结果是int类型,超过int的范围。tinyint:从0到255 之间的整数smallint:从- 21

2022-03-28 12:16:08 1795

原创 下载Chrome应用商店中的插件

下载Chrome应用商店中的插件一、实现功能下载chrome插件,方便开发使用。二、具体方法网站:扩展迷分享的这个网站叫做“扩展迷”([https://www.extfans.com/]),免费下载几乎所有的Chrome应用商店中的插件。...

2022-02-17 18:10:49 814

原创 Flink报错:org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold

org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold一、问题描述flink执行任务报错2022-01-11 15:10:49org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. at org.apache.flink.runtime.c

2022-01-14 16:28:07 2689

原创 waterdrop将hive导入clickhouse报错:Too many partitions for single INSERT block (more than 100).

一、问题描述使用waterdrop导入数据进入clickhouse,然后日志报错:Caused by: ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 252, host: 10.252.32.26, port: 8123; Code: 252, e.displayText() = DB::Exception: Too many partitions for single INSERT block

2021-12-17 15:31:48 1237

原创 Clickhouse报错:DB::Exception: Cannot lock file /var/lib/clickhouse/status

一、问题描述clickhouse启动后,本身也可以访问没有问题,而且外部也可以访问,但是查看其error日志,发现一直有报错tail -f clickhouse-server/clickhouse-server.err.log结果:2020.10.07 19:05:32.720350 [ 8150 ] {} <Error> Application: DB::Exception: Cannot lock file /var/lib/clickhouse/status. Another se

2021-12-07 19:21:51 2694

原创 Exception in thread “main“ java.lang.NoClassDefFoundError: scala/Product$class

一、问题描述Spark任务,通过输入参数配置灵活配置任务运行时间,但是,在一套新代码重报错Exception in thread "main" java.lang.NoClassDefFoundError: scala/Product$class at scopt.OptionParser.<init>(options.scala:175) at com.common.RichOptionParser.<init>(RichOptionParser

2021-12-02 17:26:15 2334

原创 Hive迁移Spark报错org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache.hadoop.io.Binar

Hive迁移后,读取报错:org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache.hadoop.io.BinaryComparab一、问题描述Hive数据库经过迁移后,spark读取一个表,报错Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache

2021-11-23 17:47:58 2360

原创 clickhouse报错:Code: 210. DB::NetException: Connection refused (localhost:9000)

一、问题描述clickhouse客户端登录服务器报错# clickhouse-client -mClickHouse client version 20.8.3.18.Connecting to localhost:9000 as user default.Code: 210. DB::NetException: Connection refused (localhost:9000)关键,这个登录命令之前是可以的,但是,现在却一直是失败的。二、问题原因参考其他文章,发现其他人是因为cli

2021-11-19 18:57:27 2956

原创 Flink 侧输出报错:Could not determine TypeInformation for the OutputTag type.

一、问题描述flink侧输出报错 The program finished with the following exception The program finished with the following exception:Could not determine TypeInformation for the OutputTag type. The most common reas

2021-11-09 20:07:15 1794

原创 flink集成hudi执行sql报错:ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream

一、问题描述flink sql创建hudi表后,执行sql插入数据,结果报错没有hadoop相关包Flink SQL> insert into order_info_hudi select * from order_info;[INFO] Submitting SQL update statement to the cluster...[ERROR] Could not execute SQL statement. Reason:java.lang.ClassNotFoundExceptio

2021-10-25 12:53:12 1680 6

原创 Redis(6): docker安装redis

Redis(6): docker安装redis一、实现功能通过docker搭建redis环境,并且依据自定义配置启动docker。二、环境1.Centos7三、具体步骤1.添加配置文件redis.conf修改关键点:#bind 127.0.0.1 #注释掉这部分,这是限制redis只能本地访问protected-mode no #默认yes,开启保护模式,限制为本地访问daemonize no#默认no,改为yes意为以守护进程方式启动,可后台运行,除非kill进程,改为yes会使配

2021-10-19 09:54:55 138

原创 VMware安装Centos7教程(5):克隆一台虚拟机,搭建集群

VMware安装Centos7教程(5):克隆一台虚拟机,搭建集群一、实现功能通过一台克隆的虚拟机搭建三个节点的集群,从而实现一些集群功能。核心点主要是网络配置,但是,在配置过程中,因为是由一个虚拟机直接copy的,所以,还是有一些需要注意总结一下。二、环境1.Centos72.Vmware三、解决关键问题虚拟机网络配置问题,因为centos7虚拟机克隆后,网卡是一样的,因为硬件一样。所以,如果,在同一个网段下,那么会有问题,即除了第1台可以联网,其他都不可以联网。解决办法:删除网卡,然后,

2021-10-02 15:47:00 242

原创 maven编译问题:com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException: 1字节的 UTF-8 序列的字

一、问题描述使用maven编译spring boot项目,当执行Test的时候,报错com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException: 1字节的 UTF-8 序列的字节 1 无效二、问题原因该错误是由于一些配置文件如:mybatis-config.xml的编码原因。在配置文件中引入了<?xml version="1.0" encoding="UTF-8"?>,但是在配置文件可能包含有中

2021-09-22 18:48:20 292

原创 vmware配置centos7 NAT网络报错:CentOS7 Failed to start LSB: Bring up/down networking

一、问题描述配置Centos7虚拟机网络后,重启网络结果报错# systemctl restart network报错:CentOS7 Failed to start LSB: Bring up/down networking二、问题原因具体原因,可能修改mac地址可以解决,但是,看到一篇博客,直接关闭NetworkManager,而且亲测可行。瞬间赶紧非常爽快。三、解决办法解决方式:禁用NetworkManagersystemctl stop NetworkManagersys

2021-09-19 12:58:57 195

原创 docker安装报错:docker-ce conflicts with 2:docker-1.13.1-208.git7d71120.el7_9.x86_64

一、问题描述安装docker的时候报错运行:yum -y install docker报错:...---> Package python-syspurpose.x86_64 0:1.24.48-1.el7.centos will be installed---> Package subscription-manager-rhsm.x86_64 0:1.24.48-1.el7.centos will be installed--> Running transaction c

2021-09-17 11:49:00 2673 2

原创 flink报错:Caused by: java.lang.NumberFormatException: Not a version: 9

一、问题描述flink执行CEP的时候,报错Caused by: java.lang.NumberFormatException: Not a version: 9 at scala.util.PropertiesTrait$class.parts$1(Properties.scala:184) at scala.util.PropertiesTrait$class.isJavaAtLeast(Properties.scala:187) at scala.util.Properties$.isJa

2021-09-09 19:42:51 269

原创 flink报错:IllegalStateException: No ExecutorFactory found to execute the application

Flink 报错: No ExecutorFactory found to execute the application一、问题描述执行 Flink 1.12.0 程序报错:SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4J: Defaulting to no-operation (NOP) logger implementationSLF4J: See http://www.slf4j.org/codes.

2021-08-29 13:20:06 674

转载 (转)Windows 批处理(bat)语法大全

Windows 批处理(bat)语法大全【转载原因:很详细,经典】本文是学习bat整理的笔记,由于内容较多,建议结合右侧文章大纲查看。%~dp0[获取当前路径]%~dp0 “d”为Drive的缩写,即为驱动器,磁盘、“p”为Path缩写,即为路径,目录cd %~dp0 :进入批处理所在目录cd %~dp0bin\ :进入批处理所在目录的bin目录示例这个示例在win10 x64测试正常::作用:以管理员身份安装Apached:cd %~dp0bin\httpd.exe -k inst

2021-08-17 17:39:32 224

原创 flink 1.12.0 提示keyBy警告 Symbol keyBy is deprecated. use [[DataStream.keyBy(KeySelector)]] instead

flink 1.12.0 提示keyBy警告 Symbol keyBy is deprecated. use [[DataStream.keyBy(KeySelector)]] instead一、问题描述flink 1.12相对于1.10个别接口有更新,所以,需要依据代码进行微调。例如keyBy方法[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HyrtAct5-1627635607595)(tmp.assets/1627635349912.png)]二、问题原因ke

2021-07-30 17:00:31 780

原创 flink sql on yarn报错: org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.commons.comp

一、问题描述使用flink on yarn方式提交Flink sql,抛出如下异常org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.j

2021-07-29 13:21:49 735

原创 flink sql报错:Bang equal ‘!=‘ is not allowed under the current SQL conformance level

一、问题描述flink sql当有过滤条件时,写的sql如下, tableEnv.executeSql( s""" |insert into kafka | select user_id from test_ods where user_id!='uid11' |""".stripMargin)报错Caused by: org.apache.calcite.runtime.CalciteException: Bang equa

2021-07-29 10:43:21 1587

原创 flink报错:No implicits found for parameter evidence$...

一、问题描述flink程序报错No implicits found for parameter evidence$二、问题原因没有加隐式转换 ,implicit。flink需要手动添加。三、解决办法引入隐式转换import org.apache.flink.api.scala._/

2021-06-26 17:55:35 438 4

原创 Spark sql报错:Caused by: java.util.regex.PatternSyntaxException: Illegal repetition near index 1

Spark sql报错:Caused by: java.util.regex.PatternSyntaxException: Illegal repetition near index 1一、问题描述Spark执行sql去解析hive中json形式的string,结果如下执行语句spark.sql("SELECT split(regexp_replace(regexp_replace(data,'\\[\\]',''),'\\}\\,\\{','\\}\\;\\{'),';') from tt").s

2021-06-17 10:13:06 1977

原创 Spark报错:scala.collection.mutable.WrappedArray$ofRef cannot be cast to scala.collection.immutable.Lis

一、问题描述Spark Dataframe转换到的rdd,取出Array类型字段的数据的时候,采用spark.sql(servicesql).rdd.map(r => { val property = r.getAs[List[String]]("property")})会报错。Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedArray$ofRef cannot be cast to

2021-05-24 10:20:23 947

转载 (转)docker端口映射或启动容器时报错 driver failed programming external connectivity on endpoint quirky_allen

转载原因:docker启动容器报同样的错误,果然同样的原因。按照方法解决。原文链接:https://blog.csdn.net/whatday/article/details/86762264docker端口映射或启动容器时报错 driver failed programming external connectivity on endpoint quirky_allen现象:[root@localhost ~]# docker run -d -p 9000:80 centos:htt.

2021-05-11 23:33:26 249 1

原创 问题:无法引入 import com.typesafe.config

一、问题描述代码中无法引入 import com.typesafe.config,但是相关依赖已经引入pom中,而且查看对应jar包也有,但是在指定类中无法导入。二、解决办法重新导入依赖即可,如下图。

2021-04-24 12:40:14 450

原创 idea使用token登录github

一、问题描述idea最近链接github直接使用github账户和密码链接好像不能直接链接了,抱错,如下图invalid authentication data.404 null : Not Found二、问题解决之前也试过其他方法,但是当使用token后,发现token真的很方便,所以总结记录1.github中获取tokenSettings->Developer settings->Personal access tokens->Generate new tokenN

2021-02-28 00:35:08 4891 14

转载 (转)Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block:

【转载原因:hive中查询时报错,同样错误。然后,经确认确实是datanode宕掉了。】【转载原文:https://blog.csdn.net/abc_123_abc_123_/article/details/103087254】hadoop 报错:Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1020558569-1xx.1xx.xx.x

2021-02-22 22:43:13 628

转载 (转)解决idea双击启动无反应

【转载原因:坑爹的问题,删除C盘user下的idea目录果然可以了!】【转载原文:https://blog.csdn.net/klnsGenesis/article/details/104470557】本方法只适用于一部分人,真的进不了的时候可以用用我的方法,进入C:/user/用户名/下将idea的配置文件删除然后重新点击idea图标就能进入idea了2020/3/22又来更新一下我找到第二种方法能够解决打开任务管理器,后台进程里面如果有未被关闭的idea将其结束任务就可以重启id.

2021-01-24 22:28:33 1121

原创 解决vi报错:E576: viminfo: Missing ‘>‘ in line:

一、问题描述在Linux使用vi编辑文件的时候vi test.txt 报错E576: viminfo: Missing '>' in line:...二、问题原因~/.viminfo文件保留有关各种有用但非关键状态信息的元数据,该文件损坏导致这个问题。三、解决方法删除.viminfo文件rm -rf ~/.viminform -rf ~/.viminfo.tmp ...

2021-01-12 10:53:59 3934 4

原创 Idea向GitHub push代码时,一直重复提示输入用户名和密码

一、问题描述使用idea操作代码进行VCS很是方便,向github进行push和pull操作非常方便,但是,最近频繁提示需要重新输入用户名和密码,很是烦人。二、问题原因查找后发现问题原因是:idea创建项目时候,采用https方式,而不是ssh方式。而本地是不保存每次输入的用户名和密码的,所以会导致重复输入。知道问题后,就容易解决了。三、解决方法1.最方便的方法:添加配置让git记录用户名和密码在idea终端输入,从而可以满足记录用户名和密码git ...

2021-01-02 13:39:45 4644 9

Postgresql存储过程.docx

数据库存储过程:包括控制if,循环while/for/loop的实现

2019-07-29

前后端分离-资料.rar

docker部署前后端分离项目的配置文件,基本包含了所有配置需要的文本。可以解决,从网页中拷贝配置文件命令,带有特殊字符的问题,方便快速部署。

2019-07-26

IKAnalyzer2012FF_u1中文分词器

IK中分分词器,在全文检索中非常有用,尤其对于中文文档的全文检索。本压缩包打包文件可以满足使用solr建立全文检索的配置需求。

2019-04-27

hadoop的wordcount简单实例

这是一个wordcount的一个简单实例jar包,仅仅用来做测试。 map类:org.apache.hadoop.wordcount.WordCountMapReduce$WordCountMapper reduce类 org.apache.hadoop.wordcount.WordCountMapReduce$WordCountReducer

2018-12-06

Pyhon数据结构

很经典的python数据结构算法书籍,入门必备!建议人手一本~

2016-10-23

virtual PC 虚拟机独立更新安装包

XP,PC虚拟机安装包pc机独立更新安装包

2015-05-21

串口调试软件

串口调试软件,很方便灵巧的一个实用调试软件!

2015-05-21

HDTune 5.0.rar

小巧而灵活的监测硬盘健康状况的工具,可以看移动硬盘的加电累计时间和硬盘加电次数。

2015-05-21

火狐电子书阅览器EPUBReader

epubReader是一个强大的电子图书阅读器,不但支持本地电子书,包括ePub、umd、TXT和Html/xHtml格式,而且支持在线下载epub格式电子书。如果在本地浏览ePub格式书籍可以使用epubBuilder创建,在测试中ePub格式压缩率高,并且制作速度非常快。

2015-05-21

文件管理器EF_Commander_10.45_64.exe

文件太乱,时常找不到所需要的文件?这就是一款很好的软件,解决问题!

2015-05-21

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除