数据仓库-IP段关联计算优化-从优化原理到优化手段一一道来

最新推荐文章于 2024-03-15 08:59:17 发布
最新推荐文章于 2024-03-15 08:59:17 发布
阅读量1.1k 收藏
点赞数 1
分类专栏： 数据分析 文章标签： 数据仓库 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43805705/article/details/127305654
版权

 

为什么要优化？

营销活动指标体系需要用日志数据进行多维度分析，其中一个维度就是通过IP段获取到用户的所属地域进行分析，但IP段与其它字段的映射方式不同，IP段是一个范围，关联时是一对多关系，在资源集中使用时段，1万左右的数据量的耗时可达一小时以上，严重影响指标的及时性，所以要进行优化，来解决任务耗时高的问题

优化手段

1 减少参与计算的数据量

当前IP表中记录总数为 772845 条，但中国所使用的IP段仅有 91374 条，因此在统计时计，限制 country_name = '中国'，能够有效的减少任务执行时间；

2 任务层面优化

数据仓库的计算引擎是MR，下面简单介绍下MapReduce计算模型

MapReduce计算模型

MapReduce是作为计算引擎出现的，在处理超大规模的数据集上，MapReduce性能可观，通过分布式计算，将大规模数据计算任务分解，MapReduce计算模型是由Map任务和Reduce任务组成，各自承担不同的功能

优化原理

思路：通过增加Map任务的数量，提高任务计算速度

通常来讲，表的一个分区就对应物理存储（HDFS）的一个文件（上图中的block块），也就对应一个Map任务；

这次优化就是通过构建表的二级、三级分区来增加物理存储文件的数量，从而间接的增加Map任务数量，让Map并行计算少量的数据，达到优化目的

二级分区：ip_category，将start_ip（起始IP）和end_ip（结束IP）按照固定范围划分，分区值A、B、C、D、E

三级分区：ip_seg1，取s

最低0.47元/天 解锁文章
高阳很捷迅
关注
专栏目录
数据平台架构优化：提升系统性能与稳定性
AI天才研究院
02-12 134
数据平台架构优化旨在解决数据规模增长、业务需求变化、技术架构老化等问题带来的挑战，提升数据平台的性能、稳定性、可扩展性、高可用性和安全性，为企业提供更强大的数据处理和分析能力。阐述数据平台架构优化的背景、目的、范围和预期读者。介绍数据平台架构的核心概念，并使用 Mermaid 流程图展示其相互关系。详细分析提升数据平台性能和稳定性的关键策略，包括数据存储优化、数据处理优化、架构设计优化等。结合实际案例，使用代码示例演示如何进行数据平台架构优化。探讨数据平台架构优化在不同行业和业务场景下的应用。
Python最优化算法学习笔记（Gurobi）
算法工程师
11-22 1万+
Python最优化算法学习笔记Gurobi 最优化算法,即最优计算方法,也是运筹学。涵盖线性规划、非线性规划、整数规划、组合规划、图论、网络流、决策分析、排队论、可靠性数学理论、仓储库存论、物流论、博弈论、搜索论和模拟等分支。 当前最优化算法的应用领域如下。 (1)市场销售:多应用在广告预算和媒体的选择、竞争性定价、新产品开发、销售计划的编制等方面。如美国杜邦公司在20世纪50年代起就非常重视对广告、产品定价和新产品引入的算法研究。 (2)生产计划
数据库存储 IP 地址的几种方式
itakyubi的博客
09-18 3144
数据类型 占用空间 可读性排名 查询效率排名 储存方式 varchar(15) 7-15字节 1 4 192.168.120.65 bigint 8字节 2 1 19216812065 int 4字节 5 5 会存储为 1084782657，由 192 * 16777216 + 168 * ...
我懵了，如果要存 IP 地址，用什么数据类型比较好？
z1ztai的博客
05-03 1939
我们可以将IP地址转换为一个长度为4字节的二进制数据，然后将其存储在BINARY(4)或VARBINARY(4)类型的列中。因此，这种方法不太适合存储大量的IP地址。因此，IP地址的二进制表示形式是一个32位的数字，其中每个八位表示一个数字。这种方法也不太适合存储IPv6地址，因为IPv6地址是一个128位的数字，不能存储在INT UNSIGNED类型的列中。此外，它也适用于存储IPv6地址，因为IPv6地址是一个128位的数字，可以用长度为16字节的BINARY或VARBINARY类型的列来存储。
面试官：如果要存ip地址，用什么数据类型比较好
最新发布
系统看你学习很认真，随机送了一个月会员！
03-15 1285
在数据库中存储IP地址时，适合的数据类型取决于IP地址的版本，即IPv4或IPv6。：它是一个32位的数字，通常表示为四个十进制数（每个0到255）由点分隔的形式。：它是一个128位的数字，通常表示为八组四个十六进制数由冒号分隔的形式。对于同时兼容IPv4和IPv6的情况，可以选择使用或来确保足够的存储空间。如果要进行大量的IP地址查找、排序或比较操作，使用VARBINARY会比VARCHAR更高效，因为它避免了字符串比较的开销。然而，如果应用程序经常以可读格式显示IP地址，使用VARCHAR。
数据库存IP地址，用什么数据类型
灵熙云工作室
09-22 2096
文章目录MySQL数据库INET_ATONINET_NTOAORACLE数据库INET_ATONINET_NTOA代码转换 MySQL数据库 在看高性能MySQL第3版（4.1.7节）时，作者建议当存储IPv4地址时，应该使用32位的无符号整数（UNSIGNED INT）来存储IP地址，而不是使用字符串。 相对字符串存储，使用无符号整数来存储有如下的好处： 节省空间，不管是数据存储空间，还是索引存储空间 便于使用范围查询（BETWEEN…AND），且效率更高 通常，在保存IPv4地址时，一个IPv
在数据库中存储IP地址
cunchi8090的博客
07-20 1153
IP addresses can be stored in a database in any of several ways. These ways may vary based on the volume of the data. I was dealing with quite a large amount of data for user au...
Hive优化
南国的技术栈
03-25 382
前言 Hive系列的第三篇，南国在这里主要是总结归纳一下日常中经常会碰到的Hive的知识点。因为Hive是基于Hadoop的数据仓库，HiveQL内部的执行过程也是基于MapReduce实现的。 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 数据量大不是问题，数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十...
MATLAB算法实战应用案例精讲-【人工智能】边缘计算（最终篇）
qq_36130719的博客
09-28 1657
智能设备连接到网络最早出现在1982年， Carnegie Mellon University改进的Coke machine成了第一个网络连接的机器，它可以报告自己的库存并且能够检测饮料是否是冰镇的。身边的thing连接到网络的世界正式拉开帷幕。物联网（Internet of Things）这个词，国内外普遍公认的是MIT Auto-ID中心Ashton教授1999年在研究RFID时最早提出来的。
ip 整型 mysql_IP使用整数存储到数据库
weixin_34664586的博客
01-27 296
"还有使用整型存储IP地址，也不要使用字符型。"MYSQL已经提供了现成的函数了select INET_ATON("192.15.2.2")select INET_NTOA("3222209026")IP的格式是A.B.C.D，其中A,B,C,D均为0~255内的整数，例如127.0.0.1，192.168.53.65。0~255就是一个8位的2进制的数，00000000(0) - 1111111...
【转】MySQL中如何正确存储IP地址
sunshingheavy的专栏
05-26 2505
转自：MySQL中如何正确存储IP地址 - 实用教程 - 高亚轩的BLOG 一、IP地址应该怎么存 在MySQL中，当存储IPv4地址时，应该使用32位的无符号整数（UNSIGNED INT）来存储IP地址，而不是使用字符串，用UNSIGNED INT类型存储IP 地址是一个4字节长的整数。   如果是字符串存储IP 地址，在正常格式下，最小长度为 7 个字符 (0.0.0.0)，最大长度为 15 个 (255.255.255.255)，因此，我们通常会使用varchar(15)来存储。同时为了让数据
论IP地址在数据库中应该用何种形式存储
weixin_33881041的博客
01-09 700
在看公司项目代码时，有涉及到ip地址存储， 使用的是varbinary(4)，但没有文档说明 这引发我的思考——缘起   当设计一个数据表时，考虑使用何种列的数据类型对性能有比较大的影响，如存储空间、查询开销等。甚至还影响到一些操作，如ip地址以字符串的形式存储在数据库中，就不可以直接比较大小。还有一点需要考虑，那就是可读性！数据虽然是存储在数据库中，但也要考虑到可读性问题。 本文要探讨的是“IP...
数据库怎么存储ip地址
qq_34525938的博客
02-05 1367
一、写在前面 今天看项目的时候，想找一个ip地址，但是看到打印的日志里面却有一个长长的十进制 322237939 然后就产生了疑惑，ip地址不是182.232.231.174这种形式的吗？怎么需要转成十进制，怎么映射到十进制 二、需求在哪里 我在想 322237939 这种表示ip地址的方式 比 “192.168.9.115” 这种表示方法好在哪？ 我能想到的一点，就是存数据库的时候，i...
ip在mysql数据库怎么存_如何在数据库中存储IP地址
weixin_39685024的博客
01-27 389
最近改一个比较老的web系统，该系统是通过账号或者ip地址(白名单)验证限制访问权限的。由于运营的时间比较长了，发现进入网站巨卡...原因就是：之前的数据库(sqlserver)存储ip地址是用的字符串类型，而且ip段被分解成了单个的ip存储起来，这样导致了巨大的数据量，比如(192.168.0.1-192.168.0.100)，这样分解后存储会产生100条数据，导致在验证用户的时候查询超慢。解决...
ip存储数据类型
漫
11-29 1570
$ip = '255.255.255.255'; $ip = '24.23.24.253'; //看看是否为一个合法的ip function ip($ip_address) { $ip = explode('.', $ip_address); foreach ($ip as $v) { if ($v > 255) { return FALSE; } } return TRUE
MySQL如何有效的存储IP地址
qq_43842093的博客
02-12 2409
文章目录序言工具类实现转换数据库函数实现转换一、IP地址应该怎么存二、整数存储 IP 地址的查询性能实验1、测试范围查询：2、IP精确查询：3、整理一下结果发现：总结 首先就来阐明一下部分人得反问：为什么要问IP得知怎样存，直接varchar类型不就得了吗？ 其实做任何程序设计都要在功能实现的基础上最大限度的优化性能。而数据库设计是程序设计中不可忽略的一个重要部分，所以巧存IP地址可以一定程度获得很大提升。 在MySQL中没有直接提供IP类型字段，但如果有两个函数可以把IP与最大长度为10位数字类型互转，所
MySQL如何有效的存储IP地址及字符串IP和数值之间如何转换
热门推荐
痴人说梦
09-22 1万+
在看高性能MySQL第3版（4.1.7节）时，作者建议当存储IPv4地址时，应该使用32位的无符号整数（UNSIGNED INT）来存储IP地址，而不是使用字符串。但是没有给出具体原因。为了搞清楚这个原因，查了一些资料，记录下来。 相对字符串存储，使用无符号整数来存储有如下的好处： 节省空间，不管是数据存储空间，还是索引存储空间便于使用范围查询（BETWEEN...AND），且效率更高
2020-12-04IP地址的划分
weixin_45857582的博客
12-04 248
P地址的分类 A类：0.0.0.0–127.255.255.255 B类：128.0.0.0–191.255.255.255 C类：192.0.0.0–223.255.255.255 D类：224.0.0.0–239.255.255.255 E类：240.0.0.0–255.255.255.255 私有IP地址 10.0.0.0–126.255.255.255 172.16.0.0–172.31.255.255 192.168.0.0–192.168.255.255 特殊IP地址 127.0.0.1 本
Vue CLI3 搭建与优化教程：从零到一
"这篇教程详细介绍了使用vue-cli3进行项目搭建和优化的步骤，包括从安装、初始化到项目优化的全过程。作者提供了github仓库和在线demo以供参考。" 在开始构建Vue.js应用时，Vue CLI 3是一个非常实用的工具，它极大...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值