大数据应用
文章平均质量分 81
HuangDXian
想到和得到中间差的是做到。
展开
-
大数据应用与原理之云数据库
一、云数据库概述** 特点:**1.按需服务2.随时服务3.通用性4.高可靠性5.易用性6.免维护7.安全性iaas saas paas云数据库与其他数据库的关系无专有模型,多个并用,以服务形式提供二、云数据库产品亚马逊、微软等三、UMP系统概述Alibaba开发通用 Unified Mysql Platform1.单一对外访问接口2.消除单点故障3.动态可伸缩性4.实现资源间相互隔离系统架构Mnesia 分布式数据库异步消息队列zoomkeepL原创 2021-12-07 09:42:52 · 3676 阅读 · 0 评论 -
【大数据应用之NoSql数据库】
NoSql数据库原理与应用一、NoSql概述(一)原因mysql关系数据库模式局限(二) nosql兴起原因二、nosql与mysql比较(一)数据原理(二)数据规模(三)数据模式(四)查询效率(五)一致性(六)数据完整性两者比较三、Nosql四大类型(一)键值数据库(二)文档数据(三)图数据库(四)列族数据库(五)类型之间之间比较NoSql 三大理论支持五、NewSql 数据库六 MongoDB (c++写)(一) 简介(三) 安装和使用MongoDB新的改变功能快捷键合理的创建标题,有助于目录的生成如何原创 2021-11-18 11:46:41 · 1825 阅读 · 0 评论 -
Hbase2.2.2 出现SLF4J -JAVA包冲突引起问题warning( Class path contains multiple SLF4J bindings.)
一、问题:安装好Hadoop3.1.3版本后再安装Hbase2.2.2 出现 SLF4J包冲突警告二、原因:Hbase启动hbase shell运行命令报Class path contains multiple SLF4J bindings.错误,是因为jar包冲突了,所以对于和hadoop的jar包冲突的,可以将其他jar包删除,如果你不确定是否删除正确,可以将其他的jar包复制备份或者修改名称,确保操作以后失败了,还可以找回。三、解决方法1. 移除 hadoop或者Hbase文件任意一个相关冲原创 2021-11-09 15:47:28 · 1957 阅读 · 0 评论 -
大数据原理与应用之Hbase
四、Hbase分布式数据库4.1 简介Hbase是bigtable的开源实现性能好 广泛应用非结构,半结构化数据库为什么设计Hbase?HDFS大规模数据库,关系数据库对于海量数据解决不够有力关系型数据库更改麻烦区别和联系Hbase 数据类型少Hbase 操作少Hbase 基于列存储Hbase访问接口4.2 Hbase数据模型稀疏多维度 排列映射表支持动态扩展,保留旧版本,时间戳采用四维坐标定位(列族),键值数据库采用列存储,高效率压缩数据4.3 Hbase原创 2021-11-09 15:22:42 · 2177 阅读 · 0 评论 -
Ubantu安装Hadoop3.1.3单机、伪分布式
一安装完ubantu后,下载hadoop进行安装1.默认环境Ubuntu 18.04 64位 作为系统环境(或者Ubuntu 14.04,Ubuntu16.04 也行,32位、64位均可)hadoop3.1.3.tar.gz文件下载地址传送门可以采用迅雷下载,速度比较快2.准备工作创建一个 名字为“hadoop”的用户,并使用 /bin/bash 作为 shellsudo useradd -m hadoop -s /bin/bash使用如下命令设置密码,可简单设置为 123456,按提示输原创 2021-10-14 23:56:00 · 608 阅读 · 0 评论 -
2021-10-14 大数据应用继续学习(二)
三HDFS分布式文件系统HDFS系统结构 、HDFS存储原理,与数据读写过程3.1 HDFS简介HDFS: Hadoop distributed file system两大核心(分布存储与分布处理)技术之一分布式文件系统单机无法存储,借助集群来存储计算机集群基本架构文件系统结构设计目标hdfs自身局限性3.2HDFS相关概念块:64-128M缺点:设计优点:1.切块存储大文件2.简化系统设计3.对数据备份HDFS 两大组件NameNode 与 Data原创 2021-10-14 21:10:33 · 120 阅读 · 0 评论 -
再度学习大数据技术与应用(厦门大学林子雨)
研究生阶段预学习 ——再度学习大数据技术与应用(厦门大学林子雨)4V概念大数据 -结构化数据与非结构化数据组成数据量大处理速度快 (秒级决策)价值密度低 商业价值高大数据概念和影响以数据为驱动去发现和解决问题,颠覆传统的方式全样非抽样精度非效率相关非因果大数据的应用纸牌屋的拍成电视剧-大数据应用谷歌的预测流感...原创 2021-10-14 19:23:31 · 343 阅读 · 0 评论