- 博客(5)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 两套教程搞定mysql 5.7 在Linux安装
一、安装教程https://www.cnblogs.com/luohanguo/p/9045391.html二、如果有依赖冲突，先卸载再安装https://www.jianshu.com/p/7b8c4dea6829
2020-06-30 19:19:42
168
原创 maxwell timestamp时差修改
一、maxwell打包命令mvn clean package -Dmaven.test.skip=true修改timestamp类型字段8小时时差问题参考：https://github.com/zendesk/maxwell/issues/903kafka查看topic和消息内容命令1、查询topic，进入kafka目录：bin/kafka-topics.sh --list --zookeeper localhost:21812、查询topic内容：bin/k..
2020-06-30 19:17:46
1169
原创 如何批量修改hive local的存储位置
1、背景 由于公司原有的oss访问AK被泄露，引发安全问题，AK被运维禁用，大数据同学发现原来正常访问hive，现在不能访问了，仔细看了一下原因是AK被禁用导致。于是只能替换新的AK。我们建表语句是CREATE DATABASE gj_log LOCATION 'oss://xxxxxx2ggxPoxxxx:xxxYBUPJ4J4eHVUbbMxxxxx@bigdata-cps-test.oss-cn-hangzhou-internal.aliyuncs.com/emr-metadata..
2020-06-19 17:07:11
1386
原创 spark-sql使用hive的自定函数配置
1、spark-sql可以直接使用hive的自定义函数，而不需要重新写一套spark-sql的自定义函数，这里较大家一个简单的配置方式即可2、将hive的自定义函数jar拷贝到/usr/lib/spark-current/jars，我们的jar是先存在oss，所以用下面的命令， osscmd get --host=oss-cn-hangzhou-internal.aliyuncs.com --id=accessid --key=accesskey oss://bigdata-cps-test/h
2020-06-15 19:43:49
1354
原创 presto web查询工具
一、Yanagishima工具包：网上有很多，我这里用的是yanagishima-18.0.zip也可以在官网下载源码编译，不过最新版本需要jdk11，现在企业中普遍使用jdk8，所以选了一个较低的版本https://github.com/yanagishima/yanagishima二、使用很简单，但是也遇到的一些坑，主要还是配置问题，由于我司的HTTP端口是通过代理映射出来，导致踩了一个大坑，另外配置的注释也要认真看看，不然容易配置错误。# yanagishima web port
2020-06-01 16:47:08
1256
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人