tizaitian的专栏

ThingsBoard, WebSocket, 遥测数据

一 所有节点上修改配置文件echo "xpack.security.enabled: true" >> elasticsearch.ymecho "xpack.security.transport.ssl.enabled: true" >> elasticsearch.yml二 在cluster.initial_master_nodes中的任一节点上执行如下命令，生成authentication schema和私钥./bin/elasticsearch-cert...

前提条件：1. 已安装jdk1.8或以上版本；2. 已下载安装包：elasticsearch-7.5.1-no-jdk-linux-x86_64.tar.gz;3. 三台服务器:10.1.32.10, 10.1.32.11, 10.1.32.12, root权限。步骤(以10.1.32.10为例)：1. 修改系统配置。a) 用户最大可创建文件数，编辑limits.conf配置文件：vi /etc/security/limits.conf然后添加如下内容:...

实现了zookeeper上节点的增，删，改，查和监听功能。1.pom.xml配置：<!-- 关于Zookeeper客户端的封装，这里只引用的recipes和client --> <dependency> <groupId>org.apache.curator</groupId> <artifactId>curator-recipes</artifactId> <version>5.1.0&lt

https://blog.csdn.net/stark_summer/article/details/50144591

Apache Storm 是一款免费并且开源的分布式实时计算系统。Apache Storm使得无边界的流式数据处理非常简单。Apache Storm支持多种编程语言，用起来简单有趣。Apache Storm支持多种应用场景：实时分析、在线机器学习、流式计算、分布式的RPC、ETL等。Apache Storm是快速的，单节点每秒可处理超过100万条tuple。Apache Storm是可伸缩的、容错的、确保数据能被处理，并且易于安装和运维。Apache Storm集成了常用的队列和数据库技术。S

kafka基本命令通过kafka-topics.sh脚本来创建一个名为topic-test1并且副本数为2、分区数为4的topic：bin/kafka-topics.sh --create --zookeeper 192.168.0.2:2181/kafka100 --topic topic-test1 --replication-factor 2 --partitions 4查看topic 属性：bin/kafka-topics.sh --zookeeper zk1:2181 --descri

Flume是一个实时日志收集工具，具有分布式，高可靠，高可用等特点。接受各类型数据发送方 ，对数据可进行简单的处理，传输到各类数据接收方。目前生产中，使用flume采集请求日志到kafka，然后通过storm读取kafka中的数据保存到数据。1.可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。），

The Google File System中文版译者：alex 摘要我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。   虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处，但是，我们的设计还是以我们对自己的应用的负载情况和

http://www.open-open.com/lib/view/open1354780280616.html 本篇将主要介绍Google的十个核心技术，而且可以分为四大类：1.分布式基础设施：GFS，Chubby和Protocol Buffer。2.分布式大规模数据处理：MapReduce和Sawzall。3.分布式数

http://www.open-open.com/lib/view/open1325412725125.html

http://www.open-open.com/lib/view/open1328763069203.html

转载路径：http://www.open-open.com/lib/view/open1328763454608.html