- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Flink HiveCatalog使用
Flink采用HiveCatalog作为表元数据持久化的介质。对于同时部署了Hive和Flink的公司来说，可以方便管理元数据，而对于只部署了Flink的公司来说，HiveCatalog也是Flink唯一支持的元数据持久化的介质。不将元数据持久化的时候，开发过程中的每个地方都需要使用DDL重新将Kafka等数据源的数据注册到临时的Catalog中，浪费了很多精力和时间。HiveCatalog可用于处理两种类型的表：Hive兼容表和通用表。 就存储层中的元数据和数据而言，兼容Hive的表是以兼容Hive的
2020-05-29 18:04:18
7592
3
原创 Flink访问Kerberos环境下的Hive
本文主要介绍如何使用Flink访问Kerberos环境下的Hive。测试环境1.hive版本为2.1.12.flink版本为1.10.0工程搭建使用IDE工具通过Maven创建一个Java工程，具体创建过程就不详细描述了。1.在工程的pom.xml文件中增加如下依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifa
2020-05-29 17:05:26
3639
2
原创 Python2和Python3编码问题
Python 2.x 默认使用ASCII编码格式 Python 3.x 默认使用UTF-8编码格式在 Python 2.x 文件的第一行增加以下代码，解释器会以utf-8编码来处理 python 文件# *-* coding:utf8 *-*也可以使用# coding=utf8...
2019-04-05 21:25:55
141
原创 superset 本地windows开发环境搭建
1.创建python的虚拟环境virtualenv选择一个用来存放虚拟环境的路径，如F:\shenxing\python\ cdF:\shenxing\python\ # 进入该文件 virtualenv superset_venv# 创建一个名字为superset_venv的虚拟环境 dir# 查看当前目录可以知道一个superset_venv的文件夹已经被...
2019-03-18 10:50:18
1827
3
原创 高性能NIFI设置
NiFi团队发表了一篇关于如何提高NIFI最佳性能的文章。https://community.hortonworks.com/articles/7882/hdfnifi-best-practices-for-setting-up-a-high-perfo.html解决方案HDF最佳实践指南，用于配置系统和NiFi以实现高性能数据流。 NiFi可以实现极少配置的开箱即用...
2019-03-14 16:03:16
6875
原创 ambari环境下Hbase regionserver频繁挂掉的问题
最近在使用ambari搭建的hbase时，遇到了regionserver频繁挂掉的问题，因此将解决方法记录下来；1. 根据报错日志发现是因为Datanode写入数据失败的原因，根据网上的资料，在hdfs-site.xml中添加了如下配置：<property> <name>dfs.client.block.write.replace-datanode-on-f...
2019-03-14 14:25:27
1175
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人