大数据
小小一剑侠
邮箱:582891884@qq.com
展开
-
一些简单的大数据基础知识
1, 为什么不是直接将人脸识别数据直接 放到hbase里, 而是要通过Kafka? 因为数据量大, 发送速度快, hbase不能支撑. 而kafka集群里有负载均衡, 能将数据稳定高效的放到hbase里.2,hbase是什么?...转载 2018-06-12 09:17:41 · 8200 阅读 · 0 评论 -
Hbase的REST访问
使用hbase REST服务器需要先去服务器上启动服务前台启动hbase rest服务bin/hbase rest start -p <port>后台启动hbase服务bin/hbase-daemon.sh start rest -p <port>停止服务bin/hbase-daemon.sh stop rest不加端口的情况下,端口默认为8080利用requests模块访...转载 2018-06-12 09:23:25 · 971 阅读 · 0 评论 -
Kafka学习
Kafka学习笔记——centos7下kafka安装配置与验证简介我们先看看官方给出的kafka分布式架构图 多个 broker 协同合作,producer 和 consumer 部署在各个业务逡辑中被频繁的调用,三者通过 zookeeper管理协调请求和转収。返样一个高怅能的分布式消息収布不订阅系统就完成了。 我们以一个broker为例介绍下整个消息系统的启动过程 整个系统运行的顺序: 1....转载 2018-06-12 11:37:58 · 1076 阅读 · 0 评论 -
Hadoop分布式文件系统:架构和设计
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html Hadoop分布式文件系统:架构和设计 引言 前提和设计目标 硬件错误 流式数据访问 大规模数据集 简单的一致性模型 “移动计算比移动数据更划算” 异构软硬件平台间的可移植性 Namenode 和 Datanode 文件系统的名字空间 (nam...转载 2019-02-13 16:55:33 · 820 阅读 · 0 评论 -
大数据hadoop入门 总结图
一, 大数据技术生态体系 二, Hadoop MapReduce框架 三, hadoop HDFS 副本存放策略 四, 安装实例原创 2019-02-13 17:41:07 · 834 阅读 · 0 评论