- 博客(12)
- 收藏
- 关注
RSS订阅转载 link cdc 2.2.1 mysql connector 踩坑（转）
报错 java.lang.NoClassDefFoundError: org/apache/flink/shaded/guava18/com/google/common/util/concurrent/ThreadFactoryBuilder。添加依赖org.apache.flink:flink-shaded-guava:18.0-13.0或改为使用依赖flink-sql-connector-mysql-cdc。需要使用mysql:mysql-connector-java:8.0.21。
2023-01-03 16:07:34
681
2
原创 Exception in thread “main“ java.lang.SecurityException: Invalid signature file digest for Manifest m
Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes
2022-08-16 10:52:40
1403
2
原创 记一次奇怪的排坑之旅，navicat可以连接远程mysql的情况下java程序连接超时
需要打开vpn连接远程mysql，navicat可以连接，程序死活连接不上，在java启动参数加上 -Djava.net.preferIPv4Stack=true就好了，原因未知，望大神解答！
2021-08-04 11:06:55
1032
原创 superset安装指南
superset安装指南在centos7上安装首先安装一些依赖包yum -y install python36 cc gcc-c++ libffi-devel python3-devel python3-pip python3-wheel openssl-devel libsasl2-devel openldap-develpip3 install superset==0.28.1pip3 install flaskpip3 install wtforms_jsonpip3 install
2020-07-28 16:20:29
187
原创 通过flume实时抽取数据库的多张表新增数据
网上关于sqlserver的数据新增同步方案很少，参考了github上的一位作者，链接在此，在此基础上做了些修改，可以同时监控多张表的数据新增话不多说，直接上代码package org.keedio.flume.source;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import org.hibernate.Session;import or
2020-05-13 15:36:31
1015
7
原创 Tensorflow on Spark在CDH5.16上的实践
Spark和Tensorflow目前是各自领域的代表，二者集成的资料很少，官方资料过于简单这是官方的安装地址 https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_YARN#convert-the-mnist-zip-files-into-hdfs-files 讲得很简单，按这个步骤是肯定跑不起来的，遇到的问题下文大概都有。我已经...
2019-08-07 15:28:41
1006
2
原创 在cdh5.16中使用Zeppelin
最近闲来无事，决定安装个zeppelin玩玩，我是在阿里云镜像上面下载的，国内下载速度比在官网快多了阿里镜像链接这上面目前只有两个版本，我下载的0.8.0版本一顿解压后开始修改配置文件，修改这三个文件，复制一份去掉template后缀修改的内容如下然后就可以启动了在浏览器上打开安装的机器ip+8080端口创建job就是 Create new note右上方有所有的解释...
2019-07-25 16:34:28
258
原创 git结合IDEA的使用
git是个很好的版本控制工具，IDEA现在也是首选的代码编辑器，这两者结合可以做到很好的版本控制，协同工作。下面介绍简单的使用方法，我是用的gitlab，大家也可以用github。首先要先下载安装git，然后在IDEA里设置git安装路径激活版本控制此时所在项目就可以进行版本控制了git会自动创建本地库，先右键需要提交的文件夹，按如下操作此时和本地库就已经同步了，协同开发...
2019-05-15 11:26:26
332
原创 根据手机号得到运营商和归属地的hive UDTF
package com.tq.udf.person;import com.google.gson.JsonObject;import com.google.gson.JsonParser;import com.google.i18n.phonenumbers.PhoneNumberUtil;import com.google.i18n.phonenumbers.Phonenumb...
2019-05-07 11:53:02
1081
5
原创 flume实时抽取mysql到hdfs
最近有个项目可能需要异库同步，于是就上网搜了下方法，发现通过flume到hdfs可以做到准实时，照网上的方法试了发现不行，自己又去github看了下源码，这才行附上源码地址我用的是Flume 1.6.0-cdh5.16.1以下是我的flume agent配置，配置信息以上链接中也有详细说明# The configuration file needs to define the source...
2019-01-15 11:48:41
1550
原创 离线搭建CDH5.16.1大数据平台
市场上免费大数据框架主要有三个版本，原生的Apache版本，Cloudera公司研发的（Cloudera Distribution Hadoop，简称“CDH”）CDH版本（最新6.1），也是市场上使用最多的，Hortonworks版本（Hortonworks Data Platform，简称“HDP”）Cloudera Manager相关介绍cloudera公司开源大数据框架管理集群的...
2019-01-08 15:15:15
3131
原创 windows环境下使用Spark读取HBase
windows环境下使用Spark读取HBase工具：IDEA 环境：jdk1.8，scala2.11hbase：1.2-cdh5.16.1spark：1.6-cdh5.16.1hadoop：2.6.0-cdh5.16.1以上组件都是用Cloudera Manager离线搭建的，不会的可参考另一篇博客首先打开IDEA创建个scala项目，不过首先要下载scala插件由于我是已经...
2019-01-08 14:19:34
592
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人