- 博客(21)
- 收藏
- 关注
RSS订阅原创 postgresql10 进程
postgres: checkpointer process postgres: writer process postgres: wal writer process postgres: autovacuum launcher process postgres: stats collector process postgres: bgworker: logical replication launcher postgres: {user} db 127.0.0.1(pid) idle postgres:
2022-06-05 18:53:17
94
原创 Taste
correlation（协同滤波）： ItemCorrelation: 计算物品相似度，相似度算法：Pearson，Generic UserCorrelation: 计算用户相似度，相似度算法：Pearson recommender（推荐）： GenericItemBasedRecommender:基于物品相似度的推荐 GenericUserBasedRecommender：基于用户相似度的推荐 TreeClusteringRecommender： 用户聚类的推荐 对所有用户邻域聚类（最近邻域，或最远
2022-05-27 12:40:12
83
原创 clickhouse 写数据+查询涉及的类
StoreageMergeTree Istorage MergeTreeDataSelectExecutor QueryPlan IQueryPlanStep pipe +ReadFromMergeTree processors IProcessor +MergeTreeInOrderSelectProcessor MergeTreeBaseSelectProcessor ::readFromPartImpl MergeTreeReaderWide MergeTreeReaderStream MergeTr
2022-03-13 23:14:23
995
原创 es cluster 选举和 es reroute
选举消息: “internal:cluster/request_pre_vote” : 开始选举 "internal:cluster/coordination/start_join 开始加入 “internal:cluster/coordination/join” 请求加入 “internal:cluster/coordination/publish_state” master 发布新集群状态 “internal:cluster/coordination/commit_state” candidate m
2022-02-26 22:56:47
484
原创 es 模块交互
action 处理网络请求 以get请求为例 action: 处理网络层 http， rpc 请求的行为。 TransportAction 作为 处理请求的基类 public final Task execute(Request request, ActionListener<Response> listener) { /* * While this version of execute could delegate to the TaskListener * ve
2022-02-20 16:50:15
749
原创 es 网络层
es 网络层 基于 jdk, nio sdk 搭建 nio多路复用 : SelectableChannel Selector libs/nio : NioSelectorGroup NioSelector ChannelFactory ChannelContext plugins/transport-nio : NioGropuFactory NioTranport
2022-02-13 23:23:54
604
原创 spark scheduler
1 生成DAG 依赖图 private def createResultStage( rdd: RDD[_], func: (TaskContext, Iterator[_]) => _, partitions: Array[Int], jobId: Int, callSite: CallSite): ResultStage = { val (shuffleDeps, resourceProfiles) = getShuffleDependenciesAndResourceProf
2022-02-08 00:51:59
855
原创 spark rdd
1 worker 获得RDD 1.1 RDD.interator 返回 RDD 数据迭代器 def iterator(split: Partition, context: TaskContext): Iterator[T] 1.2 blockManager 获得RDD分区数据 SparkEnv.get.blockManager.getOrElseUpdate， 根据blockId 优先从本地获取， 再从remote获取，再 doPutIterator （replicating）blockTransfe
2022-02-07 23:54:24
976
原创 kafka 集群元数据管理
AdminManager admin管理类 包含了 元数据缓存和 zk 监听客户端 class AdminManager(val config: KafkaConfig, val metrics: Metrics, val metadataCache: MetadataCache, val zkClient: KafkaZkClient) zk 注册监听处理器 case EventType.NodeChildrenChanged => zNodeChildChangeHandlers.get(pat
2021-12-11 19:22:31
1582
原创 kafka 笔记
kafka 笔记 kafka-server-start.sh 启动入口 KafkaServer 1 SocketServer 建立 tcp 消息通道 n个 Acceptor 对应 m 个 Processor, 生产消息 和 消费 tcp消息。 2 KafkaApis 处理 tcp RequestChannel 中的 请求，包括消息生产消费，topic 生命周期， 位点提交 获取， 元数据获取， 集群管理等。 KafkaApis 包括 分组矫正器GroupCoordinator ，topic 管理者 Admi
2021-12-05 19:56:51
95
原创 spark 笔记
spark 笔记 提交任务 spark 工作节点 包含 master node， workNode ， 通过 RpcEndpoint 实现节点间的通信 1 SparkSubmit 通过 RestSubmissionClient 向master 提交spark任务 2 master::receive 处理消息， 接受到 RegisterApplication 消息， 调度起集群的spark 处理任务 3 在 work node 启动driver 驱动线程， 在 work node 启动 executor线程。
2021-12-05 16:59:08
1031
原创 es 笔记
1.请求超时处理 线程 线程池 执行ContextPreservingRunnable::run 2. TimeoutHandler::run public void run() { if (responseHandlers.contains(requestId)) { long timeoutTime = threadPool.relativeTimeInMillis(); timeoutInf...
2019-05-31 10:41:48
1501
原创 es 节点发现
es 节点发现 PeerFinder -> activate -> handleWakeUp configureHostResover 线程池开启节点发现线程 PeerFinder::lambda configuredHostsResolver.resolveConfiguredHosts(providedAddresses -> { synchronized (mutex)...
2019-05-26 08:09:28
327
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人