qq_33881568的博客

原创 kettle windows上无法运行问题

问题描述：双击Spoon.bat批处理，黑窗口一闪而过，但是没有运行spoon程序。问题排查：双击spoondebug.bat文件会生成启动时的log，观察log发现是自带的脚本申请的内存太大，windwos无法满足。解决方法：修改脚本中申请的jvm内存参数。修改如图所示请求的jvm内存。...

原创 sparkStreaming提交任务错误ck

21/04/03 16:23:18 ERROR Utils: Exception encounteredjava.io.IOException: unexpected exception type at java.io.ObjectStreamClass.throwMiscException(ObjectStreamClass.java:1736) at java.io.ObjectStreamClass.invokeReadResolve(ObjectStreamClass.java:1266)

原创 azkaban发送邮件结果配置

需求：有时候需要将定期任务执行结果反馈。本方法使用163邮箱。1，关闭正在运行的azkaban2，编辑conf/azkaban.properties在里面添加来自 https://azkaban.readthedocs.io/en/latest/configuration.html#notification-email-properties3，发送者邮箱设置由于要发送邮件到接受邮件的账户，需要提供一个用于登录发送邮件的邮箱。以163为例点击 设置点击 pop3 /smtp/imap

原创 mysql数据库问题解决

问题描述：使用最新的mysql8 经常会遇到时区不同而链接不上数据库的问题，比如在配置azkaban时，由于使用编译好的软件无法修改链接数据库语句导致无法修改时区造成无法使用的尴尬（修改源码可以解决）解决方法：修改mysql的数据库时区，从数据库本身改善1，进入数据库 mysql -uroot -p1234562，在mysql命令行执行set global time_zone=’+8:003，flush privileges;（刷新一下）重新链接数据库，发现可以正常连接...

原创 azkaban执行sh脚本方法

1，新建一个job文件 a.job2，新建一个sh文件 a.shjob内容：Type=commandCommand=sh ./a.shA.sh内容Mkdir /home/aaa3,将两个文件都添加到压缩文件A.zip4，上传到azkabn并执行结果

原创 azkaban新版环境配置

1，下载源码编译得到可执行文件（下载已有的可执行文件）2，将exec，web两个可执行文件解压到服务器指定位置。3，配置mysql，使用自带sql语句直接初始化一个数据库（我自己创建了一个名为azkaban的数据，use azkaban ;source *.sql）4，配置web/conf/azkaban.properties文件，主要配置时区和sql链接信息5，配置exec/conf/azkaban.properties文件，主要配置时区和sql链接信息6，如果是新版的mysql，需要将sql驱

原创 sqoop1安装详细教程

环境：mysql，jdk，hadoop1，下载sqoop1.*2，将sqoop解压到一个文件夹下。3，修改sqoop/conf/sqoop-env-template.sh在里面指定位置添加hadoop环境变量，如果有hive也添加hive环境变量。4，添加jdbc驱动到sqoop/server/lib文件夹内5，下载apache.lang包到/sqoop/server/lib中并删除自带的lang3包（sqoop自带lang包不兼容）。6，添加sqoop到环境变量中5，测试效果：在mysq

原创 2021-02-21

hadoop 自定义Writable接口封装String类型必须使用writeUTF和readUTF否则数据传输会有问题，更不能使用writeChars和readLine。

原创 Maven打包可执行jar有效方法

Maven打包可执行jar直接在pom.xml末尾添加如下插件。<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <configurat

原创 idea配置vue环境并新建vue前端项目

1，电脑需要先安装node.js官网下载安装包，一直下一步安装即可。配置好环境变量。2，安装vue-cli在cmd中运行npm install -g @vue/cli3，配置ideavue插件File->settings->plugins,在插件中查找vue.js，点击安装。安装完毕后重启idea。4，idea新建vue前端项目file->new->project->static web ->vue.js然后根据自己的项目需要配置好项目的属性。就能新建

原创 halcon联合csharp

原创 halcon标定板描述文件的创建

halcon中使用的标定板有两款，一个是圆圈的另一个是方框的产生标定板描述文件的方法和注意事项分别是：