BigData
文章平均质量分 58
大数据,数仓,实时计算,数据湖
mumu_wangwei
祝愿看到内容的各位都能不放弃自己。也许美好就在下个路口,你只需要做的就是停下来多看看这个美好的世界。浮生墓,主修“红尘道”,让我们在红尘中修行而不忘初心。
展开
-
【WX】联系作者
联系作者原创 2024-04-28 10:30:15 · 92 阅读 · 0 评论 -
[Bigdata]Ranger权限管理(用户认证kerberos)
UI界面:http://192.168.101.179:6080 (admin/bigdata123)组件进程名启动命令UnixAuthenticationService(root用户可见)ranger-usersync start/stop/restart(root用户下启动)Hive Plugin启动命令:至此完成了一下功能通过ranger来对hiveserver2的权限进行验证usersync组件定时同步LDAP的hive用户到Ranger中。转载 2023-03-25 21:50:51 · 2644 阅读 · 0 评论 -
【Bigdata】数据中台总体架构图
数据中台是在底层存储计算平台与上层的数据应用之间的一整套体系,屏蔽掉底层存储平台的计算技术复杂性,降低对技术人才的需求,可以让数据的使用成本更低。现在您已经知道了,数据中台离不开这几个模块:数据汇聚、数据开发、资产管理、数据安全、数据服务。那么赶紧跟上我的脚步潜入内部去一探究竟吧。链接:https://www.jianshu.com/p/ffd9a21f296d。数据安全体系、数据运营体系保障数据中台可以长期健康、持续运转。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。转载 2023-01-23 11:41:30 · 356 阅读 · 0 评论 -
【BIGDATA】大数据实时数仓、离线数仓、数据湖之间的关系
例如:在统计实时交易订单时,可能实时统计的结果需要当日分钟级别向外展示,T+1后才能展示昨日总的交易订单数,显然,后者是T+1每日离线批处理统计结果,那么假设当日有些用户进行了订单取消有可能T+1后统计统计结果与当日实时展示数据出现不一致问题,那么这里就需要使用数据服务来进行处理,统一数据,决定如何使用数据。这个时期,在企业信息化的过程中,随着信息化工具的升级和新工具的应用,数据量变的越来越大,数据格式越来越多,决策要求越来越苛刻,数据仓库技术在大数据场景中被广泛使用。转载 2022-12-17 03:53:16 · 842 阅读 · 0 评论 -
【MYSQL】MySQL 百万级数据量分页查询方法及其优化
方法 1: 直接使用数据库提供的 SQL 语句语句样式: MySQL 中, 可用如下方法: SELECT * FROM 表名称 LIMIT M,N适应场景: 适用于数据量较少的情况 (元组百 / 千级)原因 / 缺点: 全表扫描, 速度会很慢 且 有的数据库结果集返回不稳定 (如某次返回 1,2,3, 另外的一次返回 2,1,3). Limit 限制的是从结果集的 M 位置处取出 N 条输出, 其余抛弃.方法 2: 建立主键或唯一索引, 利用索引 (假设每页 10 条)语句样式: MySQL 中, 可用如下转载 2022-06-24 22:37:27 · 2507 阅读 · 0 评论 -
【sql】数据库分库分表分页查询(2)
数据库分库分表分页查询(2)解决办法一般都放弃使用它自身的这种排序或者分页,使用nosql工具如 MongoDB,es,solr等创建二级索引。比如我们利用es,把我们常用的搜索条件和排序字段都索引进去,这样我们先查询es,然后返回id(分表策略选取的id),然后再拿这个id去各个表中查询,性能也完全没有问题。如果该id在各个表中刚好是主键,那性能会非常快,因为主键不但是唯一索引,更因为是聚簇索引,聚簇索引上面存的是该列数据。关于MongoDB,es的使用和优化后面会讲到,MySQL的索引优化及索引使用也会原创 2022-06-12 16:05:59 · 1661 阅读 · 0 评论 -
【sql】数据库分库分表设计方案(1)
1.数据库分库分表设计(1)2.数据库分库分表,实现分库分表后的分页查询,比如所有用户信息分页显示,用户表q_user_01–q_user_10淘宝的做法是拆分买家库和卖家库,也就是两个库:买家库、卖家库。买家库,按照用户的id来分库分表。卖家库,按照卖家的id来分库分表。实际上是通过数据冗余解决的:一个订单,在买家库里面有,在卖家库里面也存储了一份。下订单的时候,要写两份数据。先把订单写入买家库里面去,然后通过消息中间件来同步订单数据到卖家库里面去。买家库的订单a修改了后,要发异步消息,通知到卖家库去,原创 2022-06-12 14:51:14 · 1162 阅读 · 0 评论 -
ubuntu-docker安装oracle11
docker pull iatebes/oracle_11gDocker image for Oracle Database 11g (database installed)Build from this guide :https://github.com/jaspeen/oracle-11gRun Oracle DB 11g from docker$ docker run -d -p 1521:1521 iatebes/oracle_11gOS usersroot/ins.原创 2022-05-21 02:48:51 · 351 阅读 · 0 评论 -
Docker安装Oracle数据库
一、准备工作1.安装docker-ce (有docker老版本也可以直接使用)安装依赖的软件包yum install -y yum-utils device-mapper-persistent-data lvm2配置Docker的阿里云yum源1 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo2 安装docker-ce3 yum inst转载 2022-05-20 23:11:44 · 12020 阅读 · 4 评论 -
【Bigdata】数据仓库、数据湖、数据中台和湖仓一体
本文目录:一、前言二、概念解析 数据仓库 数据湖 数据中台 三、具体区别 数据仓库 VS 数据湖 数据仓库 VS 数据中台 总结 四、湖仓一体 目前数据存储方案 Data Lakehouse(湖仓一体) 一、前言数字化转型浪潮卷起各种新老概念满天飞,数据湖、数据仓库、数据中台轮番在朋友圈刷屏,有人说“数据中台算个啥,数据湖才是趋势”,有人说“再见了数据湖、数据仓库,数据中台已成气候”……企业还没推开数字化大门,先被各转载 2022-05-11 09:36:17 · 542 阅读 · 0 评论 -
大数据(1)PHP生成全局唯一id
PHP生成全局唯一id<?php$prefix = "itbsl";$result = uniqid($prefix);for($i=0;$i<100;$i++){ $result = uniqid($prefix); echo $result.'<br/>';}?>原创 2019-01-15 17:29:53 · 783 阅读 · 0 评论