大数据
文章平均质量分 89
Zmoooon
这个作者很懒,什么都没留下…
展开
-
流式处理框架的演变
流式处理框架的演变一、 传统数据处理的架构1.1 事务处理(1)简介:数据计算(compute)和数据存储分开(storage),实时与数据库进行交互并给用户response。(2)优点:实时性高。(3)缺点:能够同时处理的数据量有限,不能应对高并发。1.2 分析处理(1)简介:把数据从业务数据库进行ETL清洗、整合、提取出来,然后统一放到数据仓库中去,然后用数据分析的引擎进行查询分析处理,最后将结果生成报表或即席查询(注:即席查询(Ad Hoc)是用户根据自己的需求,灵活的选择查询条件,原创 2021-04-12 15:47:51 · 1892 阅读 · 0 评论 -
hbase报错TTransportException(type=4,message=’TSocket read 0 bytes’)解决方案
hbase报错TTransportException(type=4,message=’TSocket read 0 bytes’)(1)报错信息:thrift.transport.TTransport.TTransportException: TSocket read 0 bytes(2)产生原因:是因为thrift 的server端和client端的协议不匹配造成的。Python要使用TCompactProtocol,而不能使用TBinaryProtocol。TBinaryProtocol:缺原创 2020-05-15 10:20:11 · 11468 阅读 · 0 评论 -
hadoop集群ssh免密登陆配置
hadoop集群ssh免密登陆配置(1)控制台执行:ssh-keygen -t rsa一直回车,之后输入cd回车,在当前目录下会生成.ssh文件夹,里面包括了公钥 id_rsa.pub 和私钥 id_rsa 两个文件。(2)将生成的公钥复制到authorized_keys,.ssh目录下执行以下操作在master下执行cp id_rsa.pub authorized_keys。(3)将三台机...原创 2020-04-17 15:31:57 · 361 阅读 · 0 评论 -
HBase基本概念与基本使用
HBase基本概念与基本使用(1)深入理解 Hbase 架构(翻译):https://segmentfault.com/a/1190000019959411(2)原文链接:https://www.cnblogs.com/swordfall/p/8737328.html转载 2020-04-17 15:02:06 · 121 阅读 · 0 评论 -
用Python操作HBase之happybase
用Python操作HBase之happybase原文链接:https://blog.csdn.net/y472360651/article/details/79059457转载 2020-04-17 15:01:03 · 208 阅读 · 0 评论 -
kafka设计与原理详解
kafka设计与原理详解原文地址:https://www.cnblogs.com/sa-dan/p/8241372.html转载 2020-04-17 14:46:42 · 165 阅读 · 0 评论 -
Spark单节点docker适配
Spark单节点docker适配参考连接:(1)docker搭建Spark:https://blog.csdn.net/qq_33517844/article/details/92255759(2)docker-compose安装:Step1:curl -L https://get.daocloud.io/docker/compose/releases/download/1.22.0/...原创 2020-04-17 14:44:05 · 223 阅读 · 0 评论