- 博客(4)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 如何将jar包安装到本地maven仓库
maven仓库地址：https://mvnrepository.com/下载jar包maven安装jar包命令：<!-- https://mvnrepository.com/artifact/org.apache.kudu/kudu-spark2 --><dependency> <groupId>org.apache.kudu&l...
2019-05-16 17:15:17
968
2
原创 安装Cloudera Manager出现的错误
1、hostname localhost.localdomain differs from the canonical name localhost解决方法：CentOS7查看hostnameCentOS6查看vim /etc/sysconfig/network发现与/etc/hostname中的不一致运行命令hostnamectl set-hostname XXX2...
2019-05-08 16:32:57
2088
原创 使用spark streaming使用snappy压缩保存数据到HDFS中
工作中需要将从Kafka中的数据保存到HDFS中去，并且需要使用snappy压缩话不多说，直接上代码/** * 自定义多目录写与追加写,采用snappy压缩 * @author demon * @version 2019/05/05 */class AppendTextOutputFormat extends TextOutputFormat[Any, Any] { ...
2019-05-06 10:03:34
1984
3
原创 使用Canal实现MySQL的数据实时同步
我们公司的架构大致如下：途中会使用canal监听MySQL的binlog日志从而实现mysql的数据实时同步到redis和hdfs中。第一步：开启MySQL的binlog日志Mysql 的 binlog 日志作用是用来记录 mysql 内部增删等对 mysql 数据库有更新的内容的 记录(对数据库的改动)，对数据库的查询 select 或 show 等不会被 binlog 日志记录...
2019-05-06 09:46:36
39714
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人