BigData - framework
一些零散的大数据框架
BF-LoneSilverWind
睿智 灵动 从容 淡定
展开
-
10.2 storm(分布式框架)
安全分布式搭建配置需要先配置Zookeeper集群--解压拷贝修改tar -zxf apache-storm-0.10.0.tar.gzmv apache-storm-0.10.0 /opt/sxt/ cd /opt/sxt/ mv apache-storm-0.10.0 storm-0.10.0--创建日志目录(主机 1 2 3)mkdir -p /var/sxt/storm...原创 2019-12-19 20:14:31 · 100 阅读 · 0 评论 -
10.1 storm(分布式框架)
简介分布式大数据处理框架- https://yq.aliyun.com/articles/709401- 现在属于Apache- 同样优秀的框架还包括--JStorm,Flink,SparkingStreaming架构-nimbus -集群的主节点,对整个集群的资源使用情况进行管理-supervisor -指定节点数据监控情况-woker -具体任务的执行者-开...原创 2019-12-17 21:34:35 · 138 阅读 · 0 评论 -
BigData - framework 内容目录
1.1 NginxNginx使用场景Nginx简介Nginx安装&命令负载均衡搭建负载均匀集群相关资源静态化代理Session一致性2.1 HBase 简介Hbase简介HBase对比Bigtable数据库对比HBase与传统数据库对比Hadoop生态系统总图2.2 HBase 架构HBase 架构示意图Client (客户端)HMaster ...原创 2019-12-17 21:34:12 · 143 阅读 · 0 评论 -
8.2 ElasticSearch ik分词器插件
IK(analysis-ik)分词器安装需要先安装es(elasticsearch)--进入es的bin目录cd /opt/sxt/elasticsearch-2.4.5/bin/--安装ik分词器的zip包./plugin install file:/root/elasticsearch-analysis-ik-1.10.5.zip--修改所属权限cd /opt/sxtcho...原创 2019-12-16 21:03:45 · 248 阅读 · 0 评论 -
9.1 Kfaka (高吞吐量的分布式发布订阅消息系统)
实现原理观察者模式即 → 订阅者模式例子:1. 微博博主给粉丝发送动态2. 每次狼出门之前先给人打个电话,通知人们自己要去吃羊.生产者和消费者(消息)传统模式-生产者直接将消息传递给指定的消费者-耦合性特别高,当生产者或者消费者发生变化,都需要重写业务逻辑新型模式-生产者和消费者之间建立一个共享的缓冲区-生产者负责向里面添加数据-消费者负责从里面取出数据...原创 2019-12-16 20:37:05 · 224 阅读 · 0 评论 -
8.1 ElasticSearch & Kibana
搜索模式SQL模式1,zhangsan,yuwen,982,lisi,yuwen,92 select * from user where name like '%l%'; select * from user where name like '%l%' and name like '%s%' ;-缺点: -需要将数据从头至尾遍历一遍 -我们的数据量在一直增加倒排索引倒排索...原创 2019-12-13 21:59:31 · 238 阅读 · 0 评论 -
7.2 Redis 主从服务器搭建&哨兵机制
主从复制-问题 -我们只有一个节点提供服务,让更多的节点参与到服务 -单点故障-主从策略 -从服务器每秒钟都去主服务器拉取数据 -可以实现一主多从 -主服务器有从服务器,从服务器还有从服务器 -主服务器可以执行读写操作,从服务器只能执行读操作搭建主从服务器准备3台单节点版redis(参考之前配置)拷贝配置文件-- 拷贝配置文件到主机2和主机3scp -r /opt/...原创 2019-12-12 21:44:27 · 152 阅读 · 0 评论 -
7.1 Redis
简介-基于内存的数据库 -快 -存储关键型业务数据,而且尽量定时删除 -数据持久化-基于硬盘+内存 -存储容量大 -有强大的SQL语句支撑,可以处理更加复杂的业务逻辑-存放到数据类型 -所有的存放都是以key-value结构存储的 -key的类型默认都是string类型 -value的类型非常丰富(string,list,set,hasttable,sort set) -在...原创 2019-12-10 21:22:59 · 210 阅读 · 0 评论 -
6.1 Zookeeper
历史背景-所有的的计算任务都由一台计算机完成,数据的存储也由一台计算机完成-单节点计算 -单点故障 -性能瓶颈 -IO的瓶颈 -内存数据存储的方式-将数据存放在多块磁盘肯定能解决IO瓶颈的问题-全量备份 -好处:有效的缓解了IO的问题 -缺点:不利于数据的扩充 -对数据进行切片shard -好处 : -有效的缓解了IO的问题 -还可以更多的去存放数...原创 2019-12-09 19:50:03 · 85 阅读 · 0 评论 -
4.1 Flume(日志收集系统)
简介最开始是cloudera实时日志收集系统,现在纳入到Apache旗下版本:flume-ogflume-ngFlume工作流程flume由event作为其基本单位它是一个字节数组由消息头和消息内容组成在Source端创建,然后发送给channel,最终传递给Sink持久化Source:源数据端,负责产生数据,按照指定的格式进行压缩 &nbs...原创 2019-12-16 10:38:11 · 143 阅读 · 0 评论 -
1.1 Nginx
Nginx使用场景高并发场景高并发是指在同一个时间点,有很多用户同时的访问同一 API 接口或者 Url 地址会给服务器和硬件环境带来很大的压力例如大学选修课 游乐场购票 过去购买火车票过去通过池来解决问题:刚开始的时候创建多个请求等待使用使用完毕后并不会销毁,而是重新归还到池如果业务量比较大,我们通过池控制最大连接的数负载均衡(load Balance )将请求/数据【均...原创 2019-12-04 21:08:41 · 419 阅读 · 1 评论 -
5.1 Protobuf(数据格式转换器)安装
准备tar包解压tar包tar -zxvf protobuf-2.5.0.tar.gz安装C++进入protobuf目录编辑安装配置文件编译并安装完成安装脚本示例:运行将脚本编译成java代码进入protobuf的bin目录/opt/sxt/protobuf/bin编译文件./protoc –java_out=/root/ 文件名.pro...原创 2019-12-01 21:06:09 · 331 阅读 · 0 评论