BigData - framework
一些零散的大数据框架
BF-LoneSilverWind
睿智 灵动 从容 淡定
展开
-
10.2 storm(分布式框架)
安全分布式搭建 配置 需要先配置Zookeeper集群 --解压拷贝修改 tar -zxf apache-storm-0.10.0.tar.gz mv apache-storm-0.10.0 /opt/sxt/ cd /opt/sxt/ mv apache-storm-0.10.0 storm-0.10.0 --创建日志目录(主机 1 2 3) mkdir -p /var/sxt/storm...原创 2019-12-19 20:14:31 · 100 阅读 · 0 评论 -
10.1 storm(分布式框架)
简介 分布式大数据处理框架 - https://yq.aliyun.com/articles/709401 - 现在属于Apache - 同样优秀的框架还包括--JStorm,Flink,SparkingStreaming 架构 -nimbus -集群的主节点,对整个集群的资源使用情况进行管理 -supervisor -指定节点数据监控情况 -woker -具体任务的执行者 -开...原创 2019-12-17 21:34:35 · 136 阅读 · 0 评论 -
BigData - framework 内容目录
1.1 Nginx Nginx使用场景 Nginx简介 Nginx安装&命令 负载均衡搭建 负载均匀 集群相关 资源静态化 代理 Session一致性 2.1 HBase 简介 Hbase简介 HBase对比Bigtable 数据库对比 HBase与传统数据库对比 Hadoop生态系统总图 2.2 HBase 架构 HBase 架构示意图 Client (客户端) HMaster ...原创 2019-12-17 21:34:12 · 142 阅读 · 0 评论 -
8.2 ElasticSearch ik分词器插件
IK(analysis-ik)分词器安装 需要先安装es(elasticsearch) --进入es的bin目录 cd /opt/sxt/elasticsearch-2.4.5/bin/ --安装ik分词器的zip包 ./plugin install file:/root/elasticsearch-analysis-ik-1.10.5.zip --修改所属权限 cd /opt/sxt cho...原创 2019-12-16 21:03:45 · 246 阅读 · 0 评论 -
9.1 Kfaka (高吞吐量的分布式发布订阅消息系统)
实现原理 观察者模式 即 → 订阅者模式 例子: 1. 微博博主给粉丝发送动态 2. 每次狼出门之前先给人打个电话,通知人们自己要去吃羊. 生产者和消费者(消息) 传统模式 -生产者直接将消息传递给指定的消费者 -耦合性特别高,当生产者或者消费者发生变化,都需要重写业务逻辑 新型模式 -生产者和消费者之间建立一个共享的缓冲区 -生产者负责向里面添加数据 -消费者负责从里面取出数据 ...原创 2019-12-16 20:37:05 · 224 阅读 · 0 评论 -
8.1 ElasticSearch & Kibana
搜索模式 SQL模式 1,zhangsan,yuwen,98 2,lisi,yuwen,92 select * from user where name like '%l%'; select * from user where name like '%l%' and name like '%s%' ; -缺点: -需要将数据从头至尾遍历一遍 -我们的数据量在一直增加 倒排索引 倒排索...原创 2019-12-13 21:59:31 · 235 阅读 · 0 评论 -
7.2 Redis 主从服务器搭建&哨兵机制
主从复制 -问题 -我们只有一个节点提供服务,让更多的节点参与到服务 -单点故障 -主从策略 -从服务器每秒钟都去主服务器拉取数据 -可以实现一主多从 -主服务器有从服务器,从服务器还有从服务器 -主服务器可以执行读写操作,从服务器只能执行读操作 搭建主从服务器 准备3台单节点版redis(参考之前配置) 拷贝配置文件 -- 拷贝配置文件到主机2和主机3 scp -r /opt/...原创 2019-12-12 21:44:27 · 152 阅读 · 0 评论 -
7.1 Redis
简介 -基于内存的数据库 -快 -存储关键型业务数据,而且尽量定时删除 -数据持久化 -基于硬盘+内存 -存储容量大 -有强大的SQL语句支撑,可以处理更加复杂的业务逻辑 -存放到数据类型 -所有的存放都是以key-value结构存储的 -key的类型默认都是string类型 -value的类型非常丰富(string,list,set,hasttable,sort set) -在...原创 2019-12-10 21:22:59 · 209 阅读 · 0 评论 -
6.1 Zookeeper
历史背景 -所有的的计算任务都由一台计算机完成,数据的存储也由一台计算机完成 -单节点计算 -单点故障 -性能瓶颈 -IO的瓶颈 -内存 数据存储的方式 -将数据存放在多块磁盘肯定能解决IO瓶颈的问题 -全量备份 -好处:有效的缓解了IO的问题 -缺点:不利于数据的扩充 -对数据进行切片shard -好处 : -有效的缓解了IO的问题 -还可以更多的去存放数...原创 2019-12-09 19:50:03 · 85 阅读 · 0 评论 -
4.1 Flume(日志收集系统)
简介 最开始是cloudera实时日志收集系统,现在纳入到Apache旗下 版本: flume-og flume-ng Flume工作流程 flume由event作为其基本单位 它是一个字节数组 由消息头和消息内容组成 在Source端创建,然后发送给channel,最终传递给Sink持久化 Source:源数据端,负责产生数据,按照指定的格式进行压缩 &nbs...原创 2019-12-16 10:38:11 · 143 阅读 · 0 评论 -
1.1 Nginx
Nginx使用场景 高并发场景 高并发是指在同一个时间点,有很多用户同时的访问同一 API 接口或者 Url 地址 会给服务器和硬件环境带来很大的压力 例如大学选修课 游乐场购票 过去购买火车票 过去通过池来解决问题: 刚开始的时候创建多个请求等待使用 使用完毕后并不会销毁,而是重新归还到池 如果业务量比较大,我们通过池控制最大连接的数 负载均衡(load Balance ) 将请求/数据【均...原创 2019-12-04 21:08:41 · 416 阅读 · 1 评论 -
5.1 Protobuf(数据格式转换器)安装
准备tar包 解压tar包 tar -zxvf protobuf-2.5.0.tar.gz 安装C++ 进入protobuf目录 编辑安装配置文件 编译并安装 完成安装 脚本示例: 运行将脚本编译成java代码 进入protobuf的bin目录 /opt/sxt/protobuf/bin 编译文件 ./protoc –java_out=/root/ 文件名.pro...原创 2019-12-01 21:06:09 · 330 阅读 · 0 评论