- 博客(19)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 kettle 大数据插件操作相关问题
在 windows 上使用 kettle 连接 hadoop 写文件的时候，默认使用的是本机登录用户作为文件属主访问 HDFS 文件的，如果目标路径权限不允许，就会报错。1、修改 HDFS 目录权限使用 HDFS 管理员登录将相关目录设置为所有人可写，比如 777 权限2、在 kettle 中指定操作 HDFS 的用户由于 HDFS 的 Java API 访问是通过获取这个变量来设置用户的，所以可以手动设置该值为 HDFS 上有权限的用户名即可。1）通过在中设置在这一行后面添加内容： “-DHADO
2022-06-06 08:59:59
362
原创 superset dashboard模块新增背景色样式
编辑superset的dashboard时，可以选择行或者列，或者部分区域的背景色，自带的只有两种：透明和白色，如下图：有时候不能满足需求，可以新增自己的样式，比如增加红色（其他样色类似），具体操作步骤如下：1、添加css样式类a）superset-frontend\src\dashboard\stylesheets\builder.lessb）superset-frontend\src\dashboard\stylesheets\popover-menu.less2、修改js文件，增加样式选项
2022-06-06 08:58:43
2441
原创 Kettle 循环之 job 变量方式
在使用kettle的过程中，有时候会通过循环的方式来处理数据，比如有很多转换的流程都相同，但是只是某些参数不同的情况，则可以将这部分变化的数据设置为kettle的变量或者命名参数，每设置一次变量或者参数，就可以执行一个新的流程了。以下流程是通过自定义常量的方式获取表名，然后通过循环的方式依次对不同的表名查询数据并输出到数据库中。以kettle转换文件下载地址： 链接: 百度网盘 请输入提取码 提取码: hbgz如果大家在开发中遇到什么问题，可以加QQ群（195548102）咨询。或者加博主微信拉入微信群（请
2022-06-06 08:56:52
681
1
原创 关于 kettle 连接 mysql 的一些问题
对于 5.7 及以下版本的 mysql，jdbc 驱动使用 mysql-connector-java-5.1.x.jar，在数据库连接的地方，选择 MySQL，JDBC 方式如果选择kettle中的MySQL连接方式，则需要使用mysql-connector-java-5.1.47以上驱动版本，低版本无法使用对于 8.x 版本的 MySQL，8.x的jdbc 连接驱动方式有所变化，不能使用现有的 MySQL 连接配置方式，需要使用自定义 jdbc 连接方式（数据库类型选择Generic Database），
2022-06-06 08:55:25
1348
原创 关于Kettle使用es批量导出插件支持ES5/ES6/ES7的说明
由于kettle6/7等自带的elasticsearch-bulk-insert-plugin插件，最多支持es2.x，kettle8自带的es插件支持es6。对于其他需要使用es5/ex6/es7的情况，本人使用源码重新编译打包了相应的插件，请按如下步骤配置使用。...
2022-06-06 08:53:51
1905
2
原创 YOLO v2（Darknet）训练自定义数据集使用记录
Darknet官网：https://pjreddie.com/darknet/yolo/GitHub地址：https://github.com/pjreddie/darknetWindows版本可参考：https://github.com/AlexeyAB/darknet参照官网流程：下载源码，编译，下载基于voc或者coco数据集已训练好的权重文件，进行目标检测测试。一切顺利的话，则可以准备自己的数据集进行训练了。准备好训练图片（以武器图片识别为例），参考VOC Data数据集格式，样本统一采用jpg格式
2022-06-06 08:52:19
928
原创 sqoop、spark操作hive问题记录
安装hadoop、hive、spark、sqoop等，可以参照相关教程。安装完成后，需要配置相关的环境变量：其中，比较重要的是需要添加： export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/conf:$HIVE_HOME/lib这样，sqoop 通过import方式导入数据到hive表才能在hive命令行上看到。可以参考：Hive metastore三种配置方式_reesun的博客-CSDN博客_hive.metastore.uris配置为了
2022-06-06 08:46:31
216
原创 Solr6.6配置jetty访问日志
solr6.6使用自带jetty启动时，默认只有solr自己的日志，如果需要jetty的access日志，可以按如下方式配置。本来自带jetty的jetty.xml文件中有如下配置：放开注释就会启动报错，不是很熟悉jetty，也就没有深入研究了，于是换了一种方式实现。1、首先将solr/server/etc/jetty.xml中原来的RequestLog节点（找到如下内容）注释掉：2、在solr/server/contexts/solr-jetty-context.xml中添加如下内容：其
2022-06-05 11:09:48
481
原创 Centos下使用压缩包安装MySQL5.7
下载mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz，解压后放到需要安装的目录下，或者建立软链接。本例中解压后重命名为：/opt/mysql，然后进入到该目录下：2、创建数据存放目录，比如data3、创建mysql用户和组4、初始化数据库5、创建配置文件my.cnf大致内容如下，根据需要修改：6、 添加MySQL服务注意：需要修改一下脚本里面的basedir和datadir配置，内容与my.cnf中一致，不然启动
2022-06-05 11:05:15
497
原创 关于Nginx location中配置proxy_pass转发时斜线‘/‘导致的404问题
关于Nginx location中配置proxy_pass转发时斜线'/'导致的404问题
2022-06-05 11:04:04
1737
原创 Java获取文本文件字符编码的两种方法
Java判断文本文件字符编码的两种方法：1、通过文件流的前面部分字节判断；2、通过cpdetector库提供的监听方法来判断。
2022-06-05 11:02:56
3429
2
原创 Kettle 6.x 源码开发环境搭建
Data Integration - Kettle 作为免费开源的ETL工具，可以通过其桌面程序进行ETL步骤的开发并执行。kettle以插件形式来实现每个转换步骤的工作，发行版中已经提供了常用的转换清洗插件，如果还不能满足业务需求的话，则可以自己开发相应插件实现。但在使用原有插件或者自定义插件的过程中遇到问题时，如果不好定位原因，则可以通过源码环境来调试，可以更加方便和容易地解决问题。另外，通过源码的开发和学习，也能更加深入地理解kettle的原理。...
2022-06-05 11:01:28
593
原创 Java API操作HA方式下的Hadoop
通过java api连接Hadoop集群时，如果集群支持HA方式，那么可以通过如下方式设置来自动切换到活动的master节点上。其中，ClusterName 是可以任意指定的，跟集群配置无关，dfs.ha.namenodes.ClusterName也可以任意指定名称，有几个master就写几个，后面根据相应的设置添加master节点地址即可。......
2022-06-05 10:51:48
422
原创 js禁用页面中退格键返回功能
//禁用退格键返回功能 document.onkeydown = function(e) { e = e||event; if(e.keyCode == 8) { // 如果是在textarea内不执行任何操作 var obj = e.srcElement
2016-09-03 22:50:34
406
kettle使用job变量实现循环例子
2018-07-18
大数据时代风控模型技术癿探索和实践
2018-05-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人