对大数据量的处理思路

最新推荐文章于 2024-01-02 14:35:25 发布
最新推荐文章于 2024-01-02 14:35:25 发布
阅读量654 收藏
点赞数 1
分类专栏： php开发 数据库设计 文章标签： 大数据 php
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qinshi501/article/details/53140507
版权

  最近要用程序对百万级别的数据量进行处理,综合性能和代码执行时间,来考虑如何书写高质量的代码.

  首先就是读数据的问题,由于数据量比较大,我们可以考虑根据唯一的主键id来取数据,这样速度比较快,而且数量不能太大,读取Mysql数据库,数据超过3万,速度就下降很明显了.

我们根据id一次取出3000个数据进行处理,处理完，继续读取取出下一个3000条,这样直到数据处理完.如果数据量小于3万,我们可以直接全部读出放到内存进行处理.

  其次是更新数据,数据量比较大,我们可以一次更新3000条数据,如果涉及到事物操作,必须是一次更新3000数据放到内存,然后调用一次事物操作数据库,切记不能一个循环调用一次事物.这样很耗时间和性能的。总之对于写操作就是避免循环一次操作一次数据库.就处理完一定量数据(3000-9000条数据)，然后再操作数据库.

  最后操作大批量数据时,一定要记录日志,保留处理数据的id,避免因程序异常断开,造成数据更新失败,不知道更新到哪里了.




攻城狮的梦
关注
专栏目录
python处理大量数据思路_Python大规模数据的处理技巧
weixin_39638647的博客
12-05 1978
目前在数据分析和挖掘领域内，最为热门的莫过于Python和R了，不过这两门语言一直因为不好处理大规模的数据而被人们调侃，同时，hadoop和spark也因此应运而生。然而，其实Python在大规模的数据处理上也并非像传言所说的那么慢。甚者，其中也蕴含了挺多的技巧让我们能够利用Python对大规模的数据进行分析计算。下面就Python操作大规模数据时可能会遇到的问题，给出一些个人的见解。问题一：大数...
Python处理大数据量文本数据思路
symoriaty的博客
09-28 2864
最近，需要用python批量处理一些超过4G的文本数据，在此记录一些处理思路。 1 文本查看 拿到新数据，总是想先打开数据，看看字段和数据情况。然而，我的电脑运存只有16G，超过4G的文本数据如果用记事本或notepad++等文本编辑器直接打开，会一下子涌入运存中，打开很慢或者直接打不开。 EmEditor软件读取大文件很方便。不是免费的，需要注册：EmEditor (Text Editor) – Text Editor for Windows supporting large files and U
常用大数据量、海量数据处理方法__算法总结.pdf
07-30
大数据常用的处理算法总结，包括hash算法，分治算法，bloom filter，等等
在PHP中怎么解决大量数据处理的问题
不一样的焰火
03-31 7343
来源：（Reddit）PHP100中文网 原文地址： http://www.php100.com/html/dujia/2014/1226/8195.html 问题（来自lunacyfoundme）        我正在重建我们公司内部网，期间遇到一个与大量数据处理报告有关的前一个版本的问题。此前我曾用同步处理程序代码解决过这个问题，只是运行的很慢很慢，这导致我不得不延长最大
php处理大数据量数据的思路
weixin_37157891的博客
05-11 7777
大数据量的业务场景：excel 导出百万数据，操作百万数据的数组，从数据库表中取出百万数据。两个解决思路:1.从环境配置上，比如调高php脚本的内存限制。ini_set('memory_limit','');2.从代码层面，比如前两种，都是数据先写到内存后输出，大数据量的情况下，内存非常容易写爆。    解决思路就是分批次处理。excel导出解决方案可以看我之前博文，有相应的代码示例。    操作...
大数据处理的基本思路
疯狂的油条的专栏
12-08 4450
转载自；http://blog.csdn.net/v_july_v/article/details/7382693 前言    一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总
详解大数据处理思路
weixin_43679657的博客
04-11 634
大数据处理简单的TopK问题大量可重复数据（内存中无法全部装下）中出现次数最多的K条数据详细思路总结 简单的TopK问题 要求：海量整数（内存中无法全部装下），找出其中值最大的K个数据。 思路：首先读入前K个数据，使其形成一个大小为K的最小堆，初始默认这个就是值最大的K个数据，后面对其进行修改。因此需要依次读入其他剩余的所有数据，读入一个数据时就与最小堆的根节点进行比较，如果小于根节点，那么说明一定不是最大的K个值之一，舍弃即可；如果大于根节点，那么说明该值有可能是最大的K个之一，用这个值替换掉最小堆
arcgis数据量大显示慢_面对对大体量矢量数据ArcGIS的优化方法
weixin_39619174的博客
12-20 2890
大数据量矢量数据的可视化需要解决的问题，就是如何在可接受的短时间内，能展示大数据量的矢量地图。解决方案一：采用预先渲染的切片进行展示切片是预先渲染的数据集，也是响应最快的展示方式。目前ArcGIS提供栅格切片和矢量切片两种切片格式。这两种切片格式各有利弊，如下表所示：栅格切片矢量切片支持ArcGIS Desktop所有符号支持仅部分支持高分辨屏幕自适应不支持支持支持小比例尺下展示全部数据支持不支持...
vue渲染大量数据如何优化_大数据量场景下的Vue性能优化
weixin_39613385的博客
12-19 6939
性能优化最常见的落脚点是在网络和dom上，但是在大数据量的场景下，由于Vue本身的特性，可能会造成js运行层面的性能问题，这篇文章讨论的就是针对这一部分的性能优化方案。模拟一个大数据量的场景// App.vueIt's {{ firstUser.name }}'s show timetotal: {{ total }}const user = []let i = 0while (i++ < 500...
php 大数据量及海量数据处理算法总结
12-18
下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该
PHP做大数据量实时分析
11-25
（吕毅）PHP做大数据量实时分析（吕毅）PHP做大数据量实时分析（吕毅）PHP做大数据量实时分析（吕毅）PHP做大数据量实时分析
java海量数据读写优化方案
09-06
对大数据文本文件读取（按行读取）的优化，目前常规的方案有三种，第一种LineNumberReader，第二种RandomAccessFile，第三种是内存映射文件在RandomAccessFile基础上调用getChannel().map(...)；代码提供在RandomAccessFile基础上，整合内部缓冲区，效率会有提高，测试过程中1000w行数据用时1秒，1亿行数据用时103（比1438秒快了13倍左右）
海量数据处理思路
清梦旅人的博客
03-15 2653
海量数据处理思路 海量数据处理 海量数据，不能一次加载到内存中 海量数据topK(最大和最小k个数)，第k大，第k小的数 海量数据判断一个整数是否存在其中 海量数据找出不重复的数字 找出A,B两个海量url文件中共同的url 海量数据topK 最大K使用最小堆，最小K使用最大堆，这里以最大K为例 海量数据hash分块 维护最小堆的K个数据的数据容器 堆中数据是topK大的数据，堆顶的数据是第K大数据 先将海量数据hash再取模m，分成m个小文件，hash(num)%m，也可以直接取模 在
php处理海量数据的几种方案
weixin_45090572的博客
01-02 659
php处理海量数据的几种方案
python php web 大流量_PHP解决网站大数据大流量与高并发
weixin_39769406的博客
12-07 223
1：硬件方面普通的一个p4的服务器每天最多能支持大约10万左右的IP，如果访问量超过10W那么需要专用的服务器才能解决，如果硬件不给力 软件怎么优化都是于事无补的。主要影响服务器的速度有：网络-硬盘读写速度-内存大小-cpu处理速度。2：软件方面第一个要说的就是数据库，首先要有一个很好的架构，查询尽量不用* 避免相关子查询 给经常查询的添加索引 用排序来取代非顺序存取，如果条件允许 ，一般MySQ...
大数据与大量数据处理_我们如何处理和使用如此大量的数据？
cuml0912的博客
07-06 984
大数据与大量数据处理 我们（地球人）昨天创建了多少GB的数据？ ...脑。 是。 思维... 超过25亿！ 而且它正在增长。 是的，我们很难将人的大脑包裹在它周围。 因此，本周命令行英雄播客处理的问题是：我们如何处理和使用如此大量的数据？ 越来越多的数据令人难以置信，但也令人兴奋。 我们有潜力对大量数据进行大量处理……使用计算机来完成艰苦的工作。 快速历史课程 很久很久以...
数据分析常用6种分析思路（上）
xuezhangmen的博客
05-10 607
作为一名数据分析师，你又没有发现，自己经常碰到一些棘手的问题就没有思路，甚至怀疑自己究竟有没有好好学过分析？ 譬如：KPI又出现较大波动，待会领导估计要问起来，赶紧分析数据找原因；再比如，新上线某个产品，需要监控转化率效果，既要看总体情况，也要看细分渠道；又或者策划营销活动，预算有限，要看看选择哪些目标用户群、采用哪种方案带来的销量更高(更能拉动KPI)。 总归是有问题，但是又不知道怎么处理才好？那么，今天这篇内容，你一定要好好读一读，说不定对你益处非常多。 1、流程 完成一项任务，通常需要一系列操作，比如
Solr与HBase架构设计
weixin_30917213的博客
11-12 112
摘要：本篇是本人在做一个大数据项目时，对于系统架构的一点总结，如何在保证存储量的情况下，又能保证数据的检索速度。 前提： Solr、SolrCloud提供了一整套的数据检索方案，HBase提供了完善的大数据存储机制。需求： 1、对于添加到HBase中的结构化数据，能够检索出来。 2、数据量较大，达到10亿，100亿数据量。 ...
面试官：从 MySQL 读取 100w 数据进行处理，应该怎么做？问倒一大遍！
Java技术栈，分享最主流的Java技术
03-02 1303
背景 大数据量操作的场景大致如下： 数据迁移 数据导出 批量处理数据 在实际工作中当指定查询数据过大时，我们一般使用分页查询的方式一页一页的将数据放到内存处理。但有些情况不需要分页的方式查询数据或分很大一页查询数据时，如果一下子将数据全部加载出来到内存中，很可能会发生OOM(内存溢出)；而且查询会很慢，因为框架耗费大量的时间和内存去把数据库查询的结果封装成我们想要的对象（实体类）。 举例：在业务系统需要从 MySQL 数据库里读取 100w 数据行进行处理，应该怎么做？ 做法通常如下： 常规查询： 一
httpclient请求大量数据处理思路
最新发布
06-08
HttpClient在处理大量数据请求时，通常会采用分块下载、流式处理和内存管理优化等策略。以下是处理大量数据的一些主要思路： 1. 分块下载（Streaming）： - 避免一次性加载所有数据到内存：HTTP响应通常是分块传输，HttpClient可以设置为接收每个响应块后立即处理，而不是等待全部数据。 - 使用`CloseableHttpResponse`或`HttpURLConnection`的`getInputStream()`方法，这样可以在需要的时候逐行或逐块读取数据。 2. 流式处理（Stream-based processing）： - 使用Java的`BufferedReader`配合`InputStreamReader`进行逐字节读取，减少内存占用。 - 对于大数据文件，可以使用`FileOutputStream`写入到磁盘，而不是直接保存到内存。 3. 内存管理： - 控制缓存大小：对于不常更新的数据，可以配置HttpClient使用较小的内存缓冲区。 - 使用连接池：HttpClient提供连接池机制，复用已经建立的连接，减少创建新连接的开销。 4. 重试和错误处理： - 设置适当的重试策略，如在网络不稳定时处理断线重连。 - 捕获并处理可能出现的异常，如`IOException`或`SocketTimeoutException`。 5. 延迟加载： - 如果数据量非常大，可以设计为懒加载模式，只加载需要的部分。 6. 数据压缩和解压： - 根据服务器支持，启用或禁用gzip等数据压缩，减少网络传输量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

攻城狮的梦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值