Hadoop学习笔记1-初识Hadoop

hadoop学习笔记

初识hadoop

数据越来越多,数据的增长越来越快,存储和分析这些数据成为挑战!

数据的存储和分析

当数据量逐渐变大时,单个磁盘的读写速度成为瓶颈。解决办法是,将数据分散存储,通过并行读取提高读写数据。
要达到这种目的,面临的2个问题:

  • 硬件故障,通过备份机制冗余存储数据
  • 并行读取后,正确的合并数据

hadoop的hdfs和mapreduce为这两个问题提供了解决方案。

关系型数据库

为什么不能用关系型数据库+更多磁盘做批量分析?
1. 磁盘驱动器的寻址时间提高速度远远慢于传输速率的提高速度。
寻址:将磁头移动到特定位置进行读写操作的工序
传输速率:对应于磁盘的带宽

2. 传统关系型数据库使用B树,B树对于小量数据更新时效果比较好,但对于大量数据更新的时候,效率就没有MR高了。

MR适合做分析整个数据集的问题
RDBMS适用于点查询和更新

Hadoop发展简史

  • 创始人是Doug Cutting-Apache Lucene的创始人
  • 起源于Apache Nutch
  • 源于搜索引擎,存储数几十亿计的网页
  • 2003年:Google发表论文介绍分布式文件系统
  • 2004年:第一个开放源码的应用诞生,Nutch
  • 2004年:Google发表论文介绍MapReduce
  • 2005年初:第一个在Nutch上可用的MapReduce应用
  • 2006年2月:从Nutch转移出来,成为单独的子项目:Hadoop
  • 2006年:Doug Cutting加入雅虎
  • 2008年1月:Hadoop成为Apache顶级项目
  • 2008年4月:Hadoop打破世界纪录,成为最快排序1TB数据的系统

Apache Hadoop项目

  • Core: 一系列分布式文件系统和通用I/O的组件和接口(序列化、Java RPC、持久化数据结构)
  • Avro:一种提供高效、跨语言RPC的数据序列系统,持久化数据存储
  • MapReduce:分布式数据处理模式和执行环境
  • HDFS:分布式文件系统
  • Pig:一种数据流语言和运行环境,用以检索非常大的数据集
  • Hbase:一个分布式、列存储数据库。使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询
  • Zookeeper:一个分布式、高可用的协调服务。提供分布式锁之类的服务,用于分布式系统。
  • Hive: 分布式数据仓库。关系HDFS中存储的数据,并提供基于SQL的查询语言,用以查询数据
  • Chukwa:分布式数据收集和分析系统。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
图像识别技术在病虫害检测中的应用是一个快速发展的领域,它结合了计算机视觉和机器学习算法来自动识别和分类植物上的病虫害。以下是这一技术的一些关键步骤和组成部分: 1. **数据收集**:首先需要收集大量的植物图像数据,这些数据包括健康植物的图像以及受不同病虫害影响的植物图像。 2. **图像预处理**:对收集到的图像进行处理,以提高后续分析的准确性。这可能包括调整亮度、对比度、去噪、裁剪、缩放等。 3. **特征提取**:从图像中提取有助于识别病虫害的特征。这些特征可能包括颜色、纹理、形状、边缘等。 4. **模型训练**:使用机器学习算法(如支持向量机、随机森林、卷积神经网络等)来训练模型。训练过程中,算法会学习如何根据提取的特征来识别不同的病虫害。 5. **模型验证和测试**:在独立的测试集上验证模型的性能,以确保其准确性和泛化能力。 6. **部署和应用**:将训练好的模型部署到实际的病虫害检测系统中,可以是移动应用、网页服务或集成到智能农业设备中。 7. **实时监测**:在实际应用中,系统可以实时接收植物图像,并快速给出病虫害的检测结果。 8. **持续学习**:随着时间的推移,系统可以不断学习新的病虫害样本,以提高其识别能力。 9. **用户界面**:为了方便用户使用,通常会有一个用户友好的界面,显示检测结果,并提供进一步的指导或建议。 这项技术的优势在于它可以快速、准确地识别出病虫害,甚至在早期阶段就能发现问题,从而及时采取措施。此外,它还可以减少对化学农药的依赖,支持可持续农业发展。随着技术的不断进步,图像识别在病虫害检测中的应用将越来越广泛。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值