- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 python脚本之模拟生产环境发送数据到Kafka
模拟生产环境的速率发送数据到Kafka，仅限于开发环境使用，可以测试平台对数据的吞吐量以及稳定性。KafkaProducer需求下载安装特定库支持，windows开发环境直接cmd打开命令窗口，执行 pip install kafka-python 即可脚本代码如下：from kafka import KafkaProducerimport randomimport json# 实例化一个KafkaProducer示例，用于向Kafka投递消息producer = KafkaProducer
2021-05-31 22:14:13
1688
原创 Flink在Linux上单机部署教程
首先需要JDK1.8版本以上的支持，我这里就不放教程了先去官网下载flink安装包，官网地址：https://flink.apache.org/zh/downloads.html我这里下载的是flink-1.12.4，scala2.12的版本，不同需求可以下载不同版本，安装步骤都一样把包上传到服务器目录下使用下面的命令解压tar -zxvf flink-1.12.4-bin-scala_2.12.tgz然后进入解压后的flink目录下，用下面的命令执行启动脚本./bin/star.
2021-05-29 21:36:22
2134
原创 redis.clients.jedis.exceptions.JedisDataException: DENIED Redis is running in protected mode because
今天在测试时redis报错：redis.clients.jedis.exceptions.JedisDataException:拒绝redis在保护模式下运行，因为已启用保护模式，未指定绑定地址，未向客户端请求身份验证密码。在这种模式下，只接受来自环回接口的连接。如果您想从外部计算机连接到Redis，您可以采用以下解决方案之一：1）通过从服务器运行的同一主机连接到Redis，只需禁用保护模式，从环回接口发送命令’CONFIG SET protected mode no’，不过，如果你这样做的话，请确保Re
2021-05-25 15:20:50
2045
原创 Redis6.2.3安装教程
首先在redis官网下载软件包，网址如下：https://redis.io/download下载后将包上传到Linuxtar -zxvf redis-6.2.3.tar.gz 解压后并进入解压后的目录使用make命令编译软件报错是因为缺少部分依赖包依次执行下面的命令yum -y install gccyum -y install centos-release-sclyum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devt.
2021-05-25 15:08:13
1309
原创 Flink发送数据到Kafka sink
前期准备好kafka环境，我这里是1.12.0版本的Flink，Kafka对应版本官方推荐2.4.1，Scala版本2.12，demo里用的是socket文本流做数据源在kafka目录下启动zookeeper（我这里用的是kafka自带的）./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties启动kafka./bin/kafka-server-start.sh -daemon config/server.pro
2021-05-21 12:49:36
2295
原创 Flink接收kafka source数据
前期准备好kafka环境，我这里是1.12.0版本的Flink，Kafka对应版本官方推荐2.4.1，Scala版本2.12在kafka目录下启动zookeeper（我这里用的是kafka自带的）./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties启动kafka./bin/kafka-server-start.sh -daemon config/server.properties别忘了添加Kafka连接
2021-05-21 12:06:11
972
原创 Flink：从入门到放弃
文章目录前言一、Flink简介1. Flink组件栈2. Flink基石前言待补充一、Flink简介Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。1. Flink组件栈每一层所包含的组件都提供了特定的抽象，用来服务于上层组件：物理部署层： Flink 支持本地运行、能在独立集群或者在被 YARN 管理的集群上运行， 也能部署在云上，该层主要涉及Flink的部署模式，目前Flink支持多种部署模式：本地、集群(Standalone、YARN)、云(G
2021-05-19 17:22:47
2245
11
suse12 sp4，sp5镜像SLE-12-SP4，SLE-12-SP5资源分享
2021-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人