大数据处理
PAPALIAN
这个作者很懒,什么都没留下…
展开
-
大文件异步处理
项目涉及一个优惠券cvs表格的上传,数据量有几十万,文件大小50M,需要上传到服务器之后进行导入数据库处理。 问题: 1. 文件比较大,往往上传的时候会超时,导致后续处理无法进行 2. 文件的导入计算耗时比较久,也会造成等待超时 解决方案: 1 使用大文件上传控件 NeatUpload 2 文件上传与数据导入采用异步处理方式 第一步 建立文件导入记录-状态(待上传)原创 2012-03-30 13:55:20 · 1262 阅读 · 0 评论 -
Oracle如何在亿级记录表中创建索引
1.前阶段做了个项目,需要将生产系统中的一个数据,导出到备份机中,这个表近40个字段,14亿条的数据。 数据抽取用的是开源的ETL工具,比较了一下,还是先导出txt文件,在导入到备份机中,速度最快。 2.下面对导入数据时遇到的问题进行分析: 问题一、不要自动创建表空间。 因表空间较大,一开始只创建了一个表空间文件,导致表空间全使用后,不能自动扩展。创建多个表空转载 2013-07-23 17:28:26 · 2874 阅读 · 0 评论 -
TUP第19期综述:从12306看海量并发网站架构
摘要:2月18日CSDN和《程序员》杂志举办了 CSDN TUP技术沙龙 第19期:大数据系列研讨会之从12306谈起。本次活动分上下午两部分组成,上午是小规模专家研讨会,下午是开放式的主题演讲。 [C http://www.csdn.net/article/2012-02-20/312058 SDN.NET 付江/文] 2月18日CSDN和《程序员》杂志举办了CSDN转载 2013-07-23 17:53:30 · 1557 阅读 · 0 评论 -
Mybatis调用存储过程返回多个结果集
数据库用的是SqlServer2008 图片为数据库执行存储过程返回的数据 Mybatis调用存储过程返回结果集 配置文件 {call Page_Up_Get_OrderState(#{id,mode=IN,jdbcType=VARCHAR})} 需要注意的地方 statementType=转载 2015-01-21 19:40:52 · 17122 阅读 · 3 评论 -
手机QQ公众号亿级消息实时群发架构
编者按:高可用架构分享及传播在架构领域具有典型意义的文章,本文由孙子荀分享。转载请注明来自高可用架构公众号 ArchNotes。 孙子荀,2009 年在华为从事内核和分布式系统的开发工作;2011 年在百度从事过高性能计算方面的工作;2012 年加入腾讯进行 QQ 群广告系统的开发,随后负责腾讯云加速的带宽调度系统的设计研发;2014 年开始手 Q 公众号后台设计开发。转载 2015-12-24 14:37:55 · 3772 阅读 · 0 评论