- 博客(6)
- 收藏
- 关注
RSS订阅原创 kafka和ZK的关系
kafka和zk的基本交互关系1，kafaka集群的 broker，和 Consumer 都需要连接 Zookeeper。Producer 直接连接 Broker。2，Producer 把数据上传到 Broker，Producer可以指定数据有几个分区、几个备份。上面的图中，数据有两个分区 0、1，每个分区都有自己的副本：0'、 1'。3，leader 处理 partition 的所有读写请求，与此同时，follower会被动定期地去复制leader上的数据。4，如果leader发生故障
2021-11-05 14:46:48
5431
1
原创 kafka安装及配置
一、安装kafka可以通过官网下载：https://kafka.apache.org/downloadskafka根据Scala版本不同，又分为多个版本，我不需要使用Scala，所以就下载官方推荐版本kafka_2.12-2.4.0.tgz。使用tar -xzvf kafka_2.12-2.4.0.tgz 解压为了使用方便，可以创建软链接kafka0二·kafka配置kafka的配置文件在config/server.properties文件中，主要修改参数如下，更具体的参
2021-10-29 19:03:42
1532
原创 Flume的安装配置
flume的概述： Apache Flume是一个分布式，可靠且可用的系统，用于有效地从许多不同的source收集，聚合和移动大量日志数据到集中式数据存储。 Apache Flume的使用不仅限于日志数据聚合。由于数据source是可定制的，因此Flume可用于传输大量event 数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎任何可能的数据source。 Apache Flume是Apache Software Foundation的顶级项目。安装步骤：...
2021-10-22 20:34:12
516
原创 网络爬虫原理
网络爬虫的原理：爬虫根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。一个通用的网络爬虫的框架如图所示：不同类型的网络爬虫，其实现原理也是不同的，但这些实现原理中，会存在
2021-10-15 15:10:47
2121
原创 了解触发器
【目标】1.了解触发器的概念及作用2.理解触发器的语法3.了解触发器的分类4.理解触发器的使用【需求】1.使用语句级触发器和行级触发器2.使用触发器模拟mysql中的主键自动增长【步骤】1.触发器的概念及作用2.触发器的语法3.触发器的分类4.使用触发器模拟mysql的主键自动增长【讲解】一·触发器的概念及作用一般意义的存储过程，即用户自定义的存储过程喝系统存储过程。触发器：是一种特殊的存储过程。它的作用是一种特殊类型的存储过程，它不同于我们前面介绍过的存储过程。触发器主要
2021-09-28 16:33:21
513
转载 常用的算法与特点
常用的算法分别是：分治法、贪心算法、动态规划算法、回溯法、分支限界法。 分治法分治法是把一个复杂的问题分成两个或更多的相同或相似的子问题，再把子问题分成更小的子问题直到最后子问题可以简单的直接求解，原问题的解即子问题的解的合并。分治法所能解决的问题一般具有以下几个特征：1)、 该问题的规模缩小到一定的程度就可以容易地解决；2)、 该问题可以分解为若干个规模较小的相同问题，即该问题具有最优子结构性质；3)、 利用该问题分解出的子问题的解可以合并为该问题的解；4) 、...
2021-09-18 14:53:23
345
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人