- 博客(11)
- 收藏
- 关注
RSS订阅原创 MACOS M1芯片安装talend
OS_BD-macosx-cocoa-aarch64.app 后，顺利打开talend。从官网下载talend免安装包后，一直安装失败。在一个帖子下找到了解决方案。
2023-06-07 11:17:10
236
原创 ClickHouse使用Python自定义UDF
验证udf是否注册成功。2.将python脚本放在配置路径下，默认为/var/lib/clickhouse/user_scripts。ClickHouse原生支持很多种方式自定义UDF，但是按照官方给的示例操作时发现一些问题。1.先将xml文件放在ClickHouse安装目录，同config.xml同层级。注：本文为原创，如需转载请注明来源。如有侵权，保留法律追究权利。以下是根据官方介绍来操作并成功注册了Python方式的UDF。ClickHouse版本：22.8。3.验证UDF是否注册成功。
2023-06-05 14:26:44
816
3
原创 Mac OS环境下使用c++ 引入Python代码
2.target_link_libraries 填写的为 项目名（project 的内容）+ Python3_LIBRARIES。我的python环境比较多，有自己装的3.9和3.11，还有系统自带的2.7 ，还有使用brew安装的3.11。在Mac OS 环境下使用C++ 开发Python扩展时，需要引入Python.h 文件。使用自己安装的版本，目前还没走通，但是使用brew安装的3.11通过以下配置，完美运行。1.find_package Python版本要精确。通过以上配置，代码可以运行通过。
2023-06-02 10:08:24
197
原创 sql排序时将指定值放最前或最后
Sql排序时，怎么将指定的值放在最前或者最后呢？假设我们有张字段为id，name，age三个字段的表。需要将name=‘b’的记录按照id排序时放在查询结果的最后展示。可以这样写：SELECT * FROM `test` ORDER BY name ='b',id desc放在最前展示可以这样写：SELECT * FROM `test` ORDER BY name !='b',id desc如果多个字段排序的话，name = 'xxx' 的顺序不同，结果也是不同的，sql将按.
2021-02-01 15:21:14
7704
3
原创 Kylin报错Error reading resource /dict/xxx/xx/xx.dict
最近遇到之前稳定运行的一个kylin构建任务突然报错Error reading resource /dict/xxx/xx/xx.dict。好像是2.6.x版本的一个bug：http://apache-kylin.74782.x6.nabble.com/Re-Failed-to-read-big-resource-dict-xxxx-td13624.html。后尝试将kylin元数据目录下该dict的其他版本拷贝成该缺失文件，kylin构建任务得以构建成功。特此记录一下。...
2021-01-12 10:56:43
281
原创 DataX二次开发HDFSWriter插件 支持parquet格式
阿里DataX的HDFSWriter原生不支持写parquet文件，但是业务需要写parquet格式并采用snappy压缩。阿里DataX项目git地址：https://github.com/alibaba/DataX在网上又找不到有教程支持parquet文件写入，于是对HdfsWriter进行了一点改造。在此抛砖引玉。主要就是在HdfsHelper类中添加以下代码：public void parFileStartWrite(RecordReceiver lineReceiver, Con
2020-07-29 15:13:33
2261
原创 java支持mongodb类select查询语句
最近由于业务需求，需要提供一个能使用类mysql语句查询mongodb的接口。在github上找到了一个大神封装的插件，经过测试后发现常用的sql都可以很完美的转换成mongodb支持的语句。git链接：https://github.com/vincentrussell/sql-to-mongo-db-query-converter实现代码如下：public class Mong...
2020-01-14 10:47:39
977
原创 Hive可视化工具sqldeveloper配置和安装
Hive有几个很好用的可视化工具。我前一段时间用强大的sqldeveloper（支持的数据库很多，只要导入相应的jar包就可以使用，而且是免费的工具）配置了一下。主要问题就是下载sqldeveloper和Hive的所需jar包的时候搞了好久（公司电脑限速和无法翻墙），在这里分享一下。1，下载sqldeveloper （http://download.oracle.com/otn/java/sq...
2018-07-04 10:47:23
2413
原创 kettle7 连接Hive和Hbase配置
前一段时间使用kettle的时候需要连接Hive和Hbase，在网上搜的一些配置在都是kettle5或者6的，和kettle7不通用。所以自己搞了一个下午搞了出来，打个笔记记录一下。1，将需要的jar包放到kettle的D:\pdi-ce-7.1.0.0-12\data-integration\plugins\pentaho-big-data-plugin\hadoop-configuration...
2018-07-04 10:21:45
1853
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人