Hadoop学习--(大数据)

Hadoop学习–(大数据)

一、大数据概念:

大数据是指在一定时间内无法用常规软件工具进行捕捉、管理和处理的数据集合。
大数据主要是解决海量数据的存储和分析计算

二、大数据特点:

  • 大量
  • 高速(产生速度)
  • 多样:
    结构化数据:以二维表来逻辑表达和实现的数据。例如:文本文件、库表
    非结构化数据:没有固定的结构。视频、图片
    半结构化数据:存储的数据信息类似结构化,但本身以非结构化数据存储。 半结构化数据,属于同一类实体可以有不同的属性,即使他们被组合在一起,这些属性的顺序并不重要。常见的半结构数据有XML和JSON,对于对于两个XML文件。
  • 低价值密度:与数据总量成反比。数据量越大,我们需要的信息所占比例越低。

三、大数据业务流程:

1.业务需求
2.搭建数据平台,分析指标
3.数据可视化(报表、大屏以及邮件发送等)

四、大数据部门组织结构

大数据部门组织结构
平台组
数仓组
数据挖掘组
报表开发
hadoop/flume/kafka/hbase平台搭建
集群性能控制
集群性能调优
ETL工程师--数据清洗
Hive工程师--数据分析/数据仓库建模
算法工程师
推荐系统工程师
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop K-NN算法是一种基于分布式计算框架的机器学习算法,它通过将数据集拆分成多个小数据集,并通过多个节点进行并行计算,以提高算法的处理效率和精度。在学习和实践Hadoop K-NN算法的过程中,我有以下几点感悟: 首先,Hadoop K-NN算法的分布式计算模式和MapReduce编程模型是算法的核心。通过将数据集拆分成多个小数据集,然后在多个节点上进行并行计算,可以大大提高算法的处理效率和精度。同时,MapReduce编程模型提供了一种简单易用的编程方式,可以让开发者快速构建分布式计算应用。 其次,Hadoop K-NN算法的实现需要考虑数据的分布和负载均衡问题。由于数据集被拆分成多个小数据集,数据的分布情况会影响到算法的处理效率和精度。因此,在实现Hadoop K-NN算法时,需要考虑数据的分布情况和负载均衡问题,以保证算法的效率和精度。 最后,Hadoop K-NN算法的应用场景非常广泛。例如,它可以应用在电商网站中的商品推荐、医疗领域中的疾病诊断、金融领域中的风险评估等方面。通过对数据进行分类、聚类和预测等分析,可以帮助企业和个人更好地了解数据,从而作出更加准确的决策。 总之,Hadoop K-NN算法是一种非常有意义的机器学习算法,它可以帮助我们更好地理解大数据,从而作出更加准确的决策。在学习和实践Hadoop K-NN算法的过程中,我们需要注重算法的理论和实践结合,以便更好地理解算法的核心思想和应用场景。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值