大数据,数据分析场景分析。

工作和学习中遇到很多问题,其实都蛮有代表性的。先记录下,然后找个愉快的日子,都补充完整了。

大数据中数据分析中经常会因为不同的场景产生复杂的数据问题。

问题1.比如目前有数据库服务器的性能已经满足业务需求,但对大数据处理超出了内存的限制,该怎么办?

问题2.来计算水流,图像问题数据量很大,运算量很大,该怎么办?

问题3.等等

目前用的比较成熟的思路。

1.从大数据抽样


2.把大数据分解

文件分解,JULY的博客里面介绍过了。当然这是在没有分布式前主要采用的方法。

Mahout,分布运算方案或其他基于数据库的分布式处理。


3.精度下降


4.高性能运算GPU

本人看好的计算机未来的两个方向,大数据和高性能运算。


GPU无代价的线程开销方式,在高性能运算中占据未来主流。


目前云已经能够解决大数据问题,但是高性能运算怎么来解决?目前只能通过OPENCL来实现。


4.算法解:群蚁、遗传等

思路:人每天会接触很多很多的数据,为什么有些场景我们记住了,有些没有呢?

是不是可以增加一些信息素,来记录特定数据。这样在遍历的时候能够减少迭代。



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值