![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 56
少年的小俊
全栈Python开发, 对机器学习和大数据挖掘感兴趣
展开
-
kafka ssl 版本搭建
文章目录kafka 搭建kafka ssl 证书搭建1. SSL 证书原理openssl 工具介绍1. 生成CA2. 生成Server证书3. 生成Client证书(用于双向认证)Keytool 工具介绍kafka 配置producer 配置参考文章kafka 搭建先处理好zookeeper 和 kafka,这边就不再赘述了kafka ssl 证书搭建依赖环境,安装 openssl 和 keytool 工具1. SSL 证书原理ssl 加密是基于非对称加密的加密通讯方式,它大致包含两个原创 2021-12-22 16:35:48 · 1849 阅读 · 5 评论 -
influxDB 查看表结构
influxDB 查看表结构如何知道哪些字段是tags,哪些字段是fields呢,因为查询中必须携带 fieldsshow field keys from measurement;show tag keys from measurement;measurement 就相当于表名influxdb 查看field 或 tag 的值用于grafana等展示图进行筛选show field values from measurement with key = "name";show ta原创 2021-03-09 11:22:52 · 8957 阅读 · 0 评论 -
ElasticSearch的评分计算
ElasticSearch 搜素时会带有一个 _score 的数据,表示搜索出来的结果与参数之间的相关性本文内容ElasticSearch 的三大评分原则ElasticSearch 了解为什么这样评分ElasticSearch 的文本评判基础算法ElasticSearch 的评分原则检索词频率该词出现的频率越大,评分越高反向文档频率该词如果在该索引(表)中出现的频率很高,评分会随之降低也就是说,假如索引一共有 10 个数据,9个都含有 hello ,评分会降低字段.原创 2020-07-29 12:07:13 · 879 阅读 · 0 评论 -
ElasticSearch 入门
ElasticSearch下面简称 ES 数据库,是日志处理三剑客 ELK 中的 E,主攻数据存储和检索ES 数据库的特点是,支持非常复杂的文本搜索,应用场景是非格式化的文本数据,如日志目前新生的数据库,influxDB, kafka,ElasticSearch,Etcd(Kubernetes)默认都是分布式数据库,也符合大数据处理的要求ElasticSearch 支持不同种类的 分词工具,相当于插件,能对不同语言进行解析ElasticSearch 的操作灵活,支持 Restful API 通过原创 2020-07-21 15:37:11 · 146 阅读 · 0 评论 -
分布式计算系统设计
设计分布式系统不是所有分布式系统都一样,只有原理性的东西是相同的,本质上是解决分布式常见的问题需要仔细的做第一件事,是在大脑中首先构思一下整体系统的结构,在大脑中将服务大概地走一遍,觉得不合理的东西,推倒重新想,在不断想的时候,想的越多就越完美,追求完全完美费时费力,追求尽可能完美,程序高效开发时间短分布式系统 肯定是 由单机系统升级来的,单机程序就是分布式系统的子系统,理论上能完成所有任务,以下是常见的几种分布式系统大致结构主从结构多服务直接请求几乎所有分布式系统都原创 2020-05-13 10:22:35 · 784 阅读 · 0 评论 -
分布式系统原理
初入分布式系统分布式系统出现的原因,目前主要有两个解决性能问题,解决单台计算机的并发能力,计算能力解决故障问题,解决单台计算机发生故障(断电,服务中断,电脑宕机)时,保证整个系统仍能够运行相较于分布式系统,在20世纪还流行过集中式系统,集中式系统,就是所有的资源都处在同一台计算机中,集中式系统为应对服务,需要的硬件资源很多(就是很贵),这样做好处是不需要对不同子系统进行协调控制,保...原创 2020-04-30 16:46:04 · 1326 阅读 · 0 评论 -
安装 elasticsearch 及图像化界面 elasticsearch-head
ES 数据库安装(Linux版本)1. 安装 JDKYUM 安装 jdk 源yum install -y epel-release查看可用版本yum search jdk选择想要的版本yum install -y java-1.8.0-openjdk.x86_64注意,任何带后缀的,都是一些插件包,不是JDK如 java-1.8.0-openjdk-deve...原创 2020-03-28 16:25:16 · 302 阅读 · 0 评论 -
python 控制 Kafka
往Kafka 生产数据 (写入)topic 相当于数据库的表名partition kafka集群中的一个partition_idoffset 相当于数据流的位置(seek),偏移量bootstrap_server kafka的地址(一般是集群) import kafka server_host = 10.1.1.1 server_port = 9092 producer = ...原创 2020-02-24 21:10:24 · 220 阅读 · 0 评论 -
Kafka 错误代码解释
Kafka 原生API交互的Code代表使用client 与 kafka 交互时,会返回错误代码,官方给出了,代码表示的具体含义官网地址 https://kafka.apache.org/protocol示例 KeyError 36 表示 topic 已存在下表是Error code 以及相对应的关系Errorcoderetriabledescription...原创 2020-02-24 16:30:03 · 23942 阅读 · 0 评论 -
python 通过 API 创建kafka topic
使用 pykafka 创建 topic记得填写自己的kafka 相应的ip和portimport pykafkaclass Topic(): def __init__(self, topic_name, num_partitions=1, replication_factor=1, replica_assignment=[], config_entries=[]): ...原创 2020-02-24 15:51:43 · 5370 阅读 · 0 评论