![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式系统
YongYu_IT
区块链,分布式系统
展开
-
docker若干使用实例
# docker 修改默认网桥后,容器映射的ipv4端口不可用,ipv6端口可用修改网桥如下:~~~shell$cat/etc/docker/daemon.json{"bip":"192.168.100.1/24"}~~~原创 2021-11-04 17:32:27 · 346 阅读 · 0 评论 -
ES基本用法
ES基本用法查询所有索引查询索引下所有数据查询所有索引curl '0.0.0.0:9200/_cat/indices?v'查询索引下所有数据假设上一步查询到“fuck_index”索引curl -XPOST http://10.107.118.18:9200/fuck_index/_search -H 'Content-Type:application/json' -d'{ "query": { "match_all": {} }}'...原创 2021-10-20 10:17:26 · 598 阅读 · 0 评论 -
CentOS7通过SNAT上网
CentOS7通过SNAT上网问题由来在24机器上开启SNAT在34机器上修改GW问题由来局域网里面有两台机器:192.168.0.24192.168.0.34其中24机器是单网卡,可以联网。34机器不能联网。现在需要让34机器通过24机器联网。这就需要借助SNAT,NAT即“网络地址转换协议”,细分为DNAT(目标地址转换)和SNAT(源地址转换),SNAT主要用于共享上网,今次需要用到的就是SNAT。在24机器上开启SNATstep1 开启对34的白名单$ sudo firew原创 2021-02-19 16:37:05 · 480 阅读 · 0 评论 -
kafka基本使用
借助《Kafka单机部署》和《Kafka集群部署》创建的集群环境查询所有主题# pwd/usr/local/kafka/bin# ./kafka-run-class.sh kafka.admin.TopicCommand --zookeeper test_1.thinking.com:2181 --list创建主题有两种方式创建主题。第一种是隐式的如果broker的s...原创 2018-08-08 14:53:16 · 518 阅读 · 0 评论 -
Kafka集群部署
基于《Kafka单机部署》一文1、部署zookeeper集群完全照搬《Kafka单机部署》2、部署kafka集群也参照《Kafka单机部署》,不过需要修改如下地方2.1 将kafka/logs文件映射出来,因为集群不可能共用同一个日志目录2.2 需要为每个broker指定不同的server. properties文件用以启动kafka服务器其中需要改动的是:brok...原创 2018-08-08 16:17:59 · 338 阅读 · 0 评论 -
QPS,TPS,并发数,吞吐量
https://blog.csdn.net/cainiao_user/article/details/77146049转载 2018-08-28 17:14:28 · 476 阅读 · 0 评论 -
从魔兽争霸看Paxos算法(一)
游戏背景:魔兽争霸3 冰封王座里面有一种地图,总共12支队伍,3V3V3V3。也就是说,这12支队伍分成4股势力。每股势力有3只队伍。任意一股势力完全消灭其他3股势力则获胜出。现在有这么一股势力,我们称之为 A势力。A势力里面有三只队伍,人族,兽族,精灵族。在寒冷的冬天,A势力里面的三支队伍都在家修养生息。人族、兽族、精灵族都忙着砍树,挖矿,升级建筑。终于在开春时节兵强马壮,准备出去大...原创 2018-09-07 11:15:44 · 515 阅读 · 0 评论 -
从魔兽争霸看Paxos算法(二)
Paxos算法需要解决的问题解决分布式一致性问题。具体来说是:有一个问题X,假设有一组提案进程,这些进程集合都可以独立提出解决问题X的方案(提案)。这时,需要某种分布式一致性算法保证如下几点:1、这些针对问题X的提案,只有一个会被选定(得到整个分布式系统的认可)。2、如果没有针对问题X的提案,那么就不会有被选定的提案。3、当一个提案被选定后,所有关注问题X的进程都可以获得这个提...原创 2018-09-07 14:59:12 · 266 阅读 · 0 评论 -
免sudo运行docker
sudo groupadd dockersudo gpasswd -a ${USER} dockersudo service docker restartnewgrp - docker原创 2019-03-26 15:40:40 · 311 阅读 · 0 评论 -
(转)消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局
转自:https://blog.csdn.net/u013256816/article/details/79838428转载 2019-04-25 10:15:19 · 370 阅读 · 0 评论 -
下载预装Hadoop+Hive的VMware虚拟机
http://www.basichadoop.com/http://dblab.xmu.edu.cn/blog/1645-2/原创 2018-08-07 21:16:24 · 1734 阅读 · 0 评论 -
kafka概览
本文参考《kafka权威指南》(薛 译),《kafka入门与实践》(牟 著)1、kafka是什么?通俗说法:高吞吐量、分布式的消息发布订阅系统官方说法:分布式流式处理平台2、kafka可以拿来做什么?2.1 消息系统(消息队列)消息系统主要是解决 应用解耦、异步通信、流量控制等问题。拿我们最常见的移动端后台开发来说。我们移动端后台开发最常见交互方式是基于无状态的HTTP...原创 2018-08-07 11:35:39 · 440 阅读 · 0 评论 -
Docker学习(一) 镜像与容器
安装Docker$ curl -sSL https://get.docker.com | sh$ sudo usermod -aG docker $USER重启离线安装最新版docker参照:https://docs.docker.com/install/linux/docker-ce/ubuntu/例如,我的机器是ubuntu 18.04(Bionic Beaver),则...原创 2018-05-24 16:06:44 · 601 阅读 · 0 评论 -
Docker学习(二) 镜像操作
1、列举本地所有容器$ sudo docker ps -aCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES6b643e4e7c2d ror-cent...原创 2018-05-24 17:15:14 · 594 阅读 · 0 评论 -
Docker学习(三) Docker Compose
简介Docker Compose是一个管理Docker集群的工具。它通过YAML文件定义了 · Docker容器间的依赖 · 设置容器的环境变量 · 数据持久化策略(如《Docker学习(一) 镜像与容器》4、在容器内安装RoR环境(具体做法省略)里提到的)安装$ sudo apt-get install python-pip$ sudo pip ...原创 2018-05-28 10:29:35 · 544 阅读 · 0 评论 -
Docker学习(四) 镜像迁移
两种方式· export import这种方式只能保存和还原镜像当前的状态,所有变更历史都会丢失· save load这种方式可以保存镜像全部信息save和load查询镜像列表$ sudo docker imagesREPOSITORY ...原创 2018-05-28 14:59:48 · 546 阅读 · 0 评论 -
Docker学习(五) Docker Compose Volumes
volumes的作用有点类似于VMware里面的共享目录,用于将物理主机里的目录映射到docker虚拟机里。通常用法version: '2'networks: thinking: services: test_1.thinking.com: image: ubuntu ports: - "3333:3333" container_name: t...原创 2018-06-06 17:43:15 · 27186 阅读 · 0 评论 -
Zookeeper集群环境搭建
参考:从Paxos到Zookeeper分布式一致性原理与实践(倪超)1. 安装Java环境我们采用Docker compose构建集群。为了只安装一次Java环境,我们先在宿主OS上安装Java环境,然后映射到Docker容器中。Java安装的具体做法参照《安装OpenJDK1.8》。2.下载解压Zookeeper参照http://zookeeper.apache.org/releases.htm...原创 2018-07-13 15:57:09 · 302 阅读 · 0 评论 -
Zookeeper试用
Zookeeper支持多种客户端1、zkCli客户端脚本:这是一个简易的客户端2、C/Java客户端API:可编程的客户端原创 2018-07-13 16:57:24 · 267 阅读 · 0 评论 -
试用Kafka
zookeeper环境参照《Zookeeper集群环境搭建》1、下载解压kafka在宿主机器内操作$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.1.1/kafka_2.11-1.1.1.tgz$ tar xvf kafka_2.11-1.1.1.tgz通过docker volumes将kafka映射到doc...原创 2018-07-26 16:18:12 · 235 阅读 · 0 评论 -
kafka manager的安装和使用
参考《kafka入门与实践》(牟 著)参考https://github.com/yahoo/kafka-manager第一步:下源码,编译,安装$ git clone https://github.com/yahoo/kafka-manager.git$ cd kafka-manager$ ./sbt clean dist...[info] Your package is r...原创 2018-08-09 14:20:37 · 1063 阅读 · 0 评论 -
Kafka单机部署
一般而言,kafka集群和zookeeper集群是分开(分机)部署的,我们尝试一下。所有配置文件下载地址:https://download.csdn.net/download/yongyu_it/105866681、参照《Zookeeper集群环境搭建》搭建zookeeper集群环境配置如$ pwd/home/yong/Desktop/kafka-test-20180806/...原创 2018-08-06 15:17:38 · 513 阅读 · 0 评论 -
集中式架构与分布式架构
参考从Paxos到Zookeeper分布式一致性原理与实践(倪超 著)CouchDB权威指南 (莱诺 译)集中式有中心服务器概念。数据集中存放在单台数据库中,业务系统集中部署在单台服务器上。集中式的最大优点是部署简单。分布式概念:分布式系统是一个硬件或软件组件分布在不同的网络计算机上,彼此仅仅依靠网络消息进行通信和协调的系统。特点:分布性、对等性、并发性、无全局时钟、随机故...原创 2018-07-13 10:37:13 · 3929 阅读 · 0 评论