大数据技术是什么


大数据技术是什么?
总的来说大数据有5个部分。数据采集,数据存储,数据清洗,数据挖掘,数据可视化。
数据采集有硬件采集,如OBD,有软件采集,如滴滴,淘宝。数据存储就包括NOSQL,hadoop等等。
数据清洗包括语议分析,流媒体格式化等等。
数据挖掘包括关联分析,相似度分析,距离分析,聚类分析等等。数据可视化就是WEB的了。


大数据技术的具体内容?
分布式存储计算架构(强烈推荐:Hadoop)
分布式程序设计(包含:Apache Pig或者Hive)
分布式文件系统(比如:Google GFS)
多种存储模型,主要包含文档,图,键值,时间序列这几种存储模型(比如:BigTable,Apollo, DynamoDB等)
数据收集架构(比如:Kinesis,Kafla)
集成开发环境(比如:R-Studio)
程序开发辅助工具(比如:大量的第三方开发辅助工具)
调度协调架构工具(比如:Apache Aurora)
机器学习(常用的有Apache Mahout 或 H2O)
托管管理(比如:Apache Hadoop Benchmarking)
安全管理(常用的有Gateway)
大数据系统部署(可以看下Apache Ambari)
搜索引擎架构( 学习或者企业都建议使用Lucene搜索引擎)
多种数据库的演变(MySQL/Memcached)
商业智能(大力推荐:Jaspersoft )
数据可视化(这个工具就很多了,可以根据实际需要来选择)
大数据处理算法(10大经典算法)


大数据中常用的分析技术?

A/B测试、关联规则挖掘、数据聚类、
数据融合和集成、遗传算法、自然语言处理、
神经网络、神经分析、优化、模式识别、
预测模型、回归、情绪分析、信号处理、
空间分析、统计、模拟、时间序列分析


大数据未来的应用趋势预测?

每个人健康和生活都需要的个性化建议;
企业管理中的选择和开拓新市场的可靠信息来源;
社会治理中大众利益的发现与政策满足

云Iaas:
网络、存储、服务器、虚拟机、系统、中间件、运行时间、数据、应用
  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值