大数据之开发工具
大数据开发工具
大数据架构师Pony
不勤于始,将悔于终。
展开
-
记一次Flink修改源码操作的大坑
背景:为了适配flinkSQL连接clickhouse,修改flink-connector-jdbc_2.11-1.12.4.jar添加clickhouse的信息。因为有依赖关系,修改源码时报错,就把flink-table-common-1.12.4.jar放到jdk的\jdk\jre\lib\ext下面。(此处埋下隐患:忘了这回事了,坑了一天!!)改完源码,打包,替换到项目里,运行,报错:各种找不到类。网上尝试的所有方法都试过了,还是不行。替换为原来的包,运行还是报错。最后把程原创 2021-11-10 16:40:54 · 2466 阅读 · 1 评论 -
idea编译打包时报错:程序包org.apache......不存在
如图解决把当前报错的类所依赖的包放到 jdk目录下:jdk\jre\lib\ext原创 2021-11-10 10:49:39 · 6391 阅读 · 1 评论 -
idea打包,flink任务运行爆错:找不到主类!
如下图:idea打包,flink任务运行爆错:找不到主类!原因:未在程序中指定主类解决:在程序的pom中添加build标签再次打包即可!原创 2021-07-20 15:48:11 · 1727 阅读 · 0 评论 -
canal1.1.4免费下载
链接:https://pan.baidu.com/s/1z4GOcO_OQE4W0HWXPj1URw提取码:uo6q原创 2021-06-17 14:23:43 · 580 阅读 · 2 评论 -
failed to find commons-codec:commons-codec:pom:1.15.......
问题描述:idea打jar包时,报错:failed to find commons-codec:commons-codec:pom:1.15........原因:jar包冲突或者少jar包解决:去除jar包冲突或者下载相应jar包1.如果你的集群环境有版本,去除jar包冲突时一定要手动输入jar包的<aetifactId>,比如spark-sql_2.xx 让它自动提示出来。2.如果集群没有这个版本的jar包,就下载commons-codec-1.xx.jar,放...原创 2020-09-18 18:49:43 · 11256 阅读 · 5 评论 -
解决idea springboot run找不到或无法加载主类问题
run:启动报错错误: 找不到或无法加载主类 com.xxx.Application解决原创 2021-06-09 15:08:55 · 1980 阅读 · 4 评论 -
Error:java: Compilation failed: internal java compiler error(已解决)
目录问题:原因:解决:问题:idea运行项目时提示 Error:java: Compilation failed: internal java compiler error原因:jdk版本问题,编译版本不匹配,或者当前项目jdk版本不支持。解决:总共查看修改三个地方。File ->Project Structure->Project Settings ->Project或使用快捷键Ctrl+Alt+shift+S打开项目的jdk配置.原创 2021-05-25 14:37:08 · 2123 阅读 · 0 评论 -
git clone出现Permission denied (publickey)解决办法
参考https://www.jianshu.com/p/642e658577f1原创 2021-04-12 14:31:54 · 310 阅读 · 0 评论 -
idea运行flink程序报错:static methods in interface require -target:jvm-1.8
解决:添加-target:jvm-1.8 到Scala Compiler或者在pom.xml文件中添加如下配置<configuration> <addScalacArgs>-target:jvm-1.8</addScalacArgs></configuration>原创 2021-03-23 14:43:19 · 397 阅读 · 2 评论 -
mvn install报错:总是查找C盘下的.m2目录下的settings.xml文件
如图所示,执行mvn install:install-file -Dfile=XXX.jar -DgroupId=XXX -DartifactId=XXX -Dversion=XXX -Dpackaging=XXX命令时,报错,总是查找C盘下的.m2目录下的settings.xml文件。原因:默认总是先去找.m2目录下的settings.xml解决:先修改一下.m2目录下的settings.xml文件的名称,比如SSSetting.xml,使其找不到该文件。再次执行命令即可安装成功!..原创 2020-08-18 09:51:07 · 1306 阅读 · 1 评论 -
ntelliJ IDEA中文乱码问题解决
1.首先是编辑器的乱码,这个很好解决,file->settings->appearence里面有个Name设置成支持中文的字 体(这个很重要)同样还要再settings中的Eidtor->File Encodings里面设置字体编码格式,一般都是UTF-8,GBK什么的也行。2.找到idea安装目录bin目录下如下图所示两个文件,用编辑器打开,在文件末尾添加 -Dfile.encoding=UTF-8 ,然后重启idea,再打开流程图就会发现中文已经可以正常显示了。.转载 2020-10-10 15:46:08 · 162 阅读 · 0 评论 -
已解决!idea 启动spark类时,出错! JsonMappingException:Incompatible Jackson version: 2.9.8
问题描述:启动spark类报错如下:Caused by: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.8原因:spark 依赖的版本过高 ,不兼容!解决:修改jackson-databind的版本,我的改为2.6.6...原创 2020-06-23 19:02:47 · 846 阅读 · 0 评论 -
已解决!idea 启动报错:javax.servlet.ServletRegistration
解决:更改pom.xml文件,将 <scope>provided</scope> 改为<scope>compile</scope>问题解决!原创 2020-06-23 18:53:03 · 1436 阅读 · 0 评论 -
解决:idea运行scala程序,报错:Error:scalac: bad option: -make:transitive
问题描述:idea运行scala程序,报错:Error:scalac: bad option: '-make:transitive'\解决办法:1.进到项目的根目录下面、2.进入.idea文件夹,并打开Scala_compiler.xml文件3.将此行<parameter value="-make:transitive" />注释掉4.重启idea...原创 2020-06-22 18:34:02 · 1027 阅读 · 0 评论 -
解决IDEA创建Maven工程没有src目录还很慢的问题
现象描述:使用IDEA新建maven项目,结果没有src目录,还非常慢。原因:IDEA根据maven archetype的本质,去执行mvn archetype:generate命令,该命令执行时,需要指定一个archetype-catalog.xml文件。该命令的参数-DarchetypeCatalog,可选值为:remote,internal ,local等,用来指定archetype...原创 2020-01-02 22:01:23 · 1139 阅读 · 0 评论 -
idea整合maven过程
Maven下载官网下载地址:https://maven.apache.org/download.cgi下载完毕,将maven压缩包解压, 复制到没有中文、没有空格的目录下,即安装完毕。环境变量配置:新建MAVEN_HOME变量MAVEN_HOME=E:\apache-maven-3.2.1给PATH添加变量:Path=%MAVEN_HOME%\bin;配置本地仓...原创 2019-12-24 19:16:12 · 416 阅读 · 0 评论 -
IDEA 常用快捷键
快捷键的使用1.快速打开左右有数字的窗口 : alt+ 数字2、项目之间跳转 : ctrl + alt + ] / [3.快速查找辅助 ctrl + shift + A4.查找类: ctrl + n (再按一次ctrl+n 可以搜索jar包中的类) 找文件: ctrl+ shift + n 找文件5.快速的文件跳转...原创 2019-12-15 22:15:24 · 367 阅读 · 0 评论 -
idea开发工具搭建java-web项目步骤
1.配置tomcat 如果tomcat在setting中如果找不到,进行如下配置:部署启动2.问题:找不到tomcatFile—>Setting—>Build,Execution,Deployment—->Application Servers—>”+”这里添加了之后Edit Configuration里...原创 2019-12-15 22:09:13 · 247 阅读 · 0 评论 -
idea报错:java -source 1.5 中不支持 diamond运算符
解决:Ctrl+Alt+S搜索Java Compiler,看是不是1.5,是的话就改成需要的版本原创 2020-08-15 18:54:03 · 539 阅读 · 0 评论 -
解决IDEA中输入sout,psvm后没有自动联想功能的问题
File ——>Setting选中Live Templates搜索sout和psvm,或者直接查找右下角:点击change然后点击两下everywhere ,当然也可能不是两次everywhere,反正通过勾选,能够让java下面的几个都打上√就好了。然后apply就可以了。如果想用main而不是psvm该怎么办呢?选择other,里面的psvm,然后修改Abbreviation,改为main以后打main就会自动联想为Template text..原创 2020-09-13 11:45:54 · 2830 阅读 · 0 评论 -
获取该虚拟机的所有权失败
解决:1.关闭虚拟机2.到虚拟机存放的目录,找到以“.lck”的文件夹,右键删除。3.重启虚拟机即可!原创 2020-08-21 16:26:06 · 820 阅读 · 0 评论 -
Plugin ‘XX‘ is incompatible with this installation的原因和解决办法
翻译:插件“XXX”与此安装不兼容原因:要安装的插件与jetbrains的版本不兼容解决:1.查看idea的版本官网下载对应版本的插件:http://plugins.jetbrains.com选择idea:搜索插件:点击GET:选择对应版本:下载后在idea中安装:重启idea即可生效!...原创 2020-08-20 16:55:34 · 24204 阅读 · 0 评论 -
VMware启动报错---以独占方式锁定此配置文件失败.另一个正在运行
解决:https://www.cnblogs.com/Komorebi-john/p/11381053.html转载 2020-08-15 18:28:35 · 359 阅读 · 0 评论 -
idea本地执行报错————failed to locate the winutils binary in the hadoop binary path
解决:1.百度下载hadoop的本地环境包2.在C盘下面,新建env文件夹,解压下载的包原创 2020-08-15 18:10:52 · 444 阅读 · 0 评论 -
azkaban启动错误
启动azkaban错误原创 2020-02-11 19:55:36 · 1215 阅读 · 0 评论 -
阿里出品dataX环境验证
下载安装包,解压。 进入bin目录 执行命令:python datax.py ../job/job.json 运行结果:6.环境OK!原创 2020-05-16 14:22:28 · 240 阅读 · 0 评论 -
阿里出品dataX入门案例
前提:dataX安装部署完毕,环境验证OK。案例:1.在dataX的job目录下创建一个stream2stream.json 文件内容如下:{ "job": { "content": [ { "reader": { "name": "streamreader", "parameter": { .原创 2020-05-16 14:28:53 · 235 阅读 · 0 评论