第1章 初识hadoop

于 2016-08-17 11:20:49 发布
阅读量488 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caoshuming_500/article/details/52228873
版权

1.1 数据存储和分析

 我们生活在数据时代，每天都有大量的数据在产出，但这些数据怎么存储、使用就变的非常重要的；一个数据不被使用那这份数据就是死数据

现在我们的磁盘读速度100M/s 如果读10T 的数据需要 10 * 1000 * 1000 M / 100M =  30个小时；那这样的速度肯定是不可取的，一种简单的办法就是把数据存储在多台机器上(数据足够大，一台机器也存储不下来)；然后并行的读取多个磁盘，这样读取时间就会降下来；这样一块磁盘存储很多份数据，一份大数据分配到多台机器上，把数据的读取错开时间，就可以达到最大的效率(吞吐量)

hadoop 系统提供了一个稳定的共享存储和分析系统；存储由HDFS 系统支持，分析是由MR 来支持；存储和计算(分析) 是hadoop 系统的2个核心功能

1.2  haddop 生态系统的组成部分

  • core: 一些列的api 接口
  • hdfs: 分布式文件系统
  • mapreduce: 大数据并行计算
  • pig: 一种流式语言，运行在hadoop 和hdfs上
  • hbase：分布式、列存储数据库
  • hive : 分布式数据仓库，提供SQL 的查询语言
caoshuming_500
关注
专栏目录
第1讲：初识hadoop
09-24
第1讲：初识hadoop
初识Hadoop.docx
10-26
### 初识Hadoop知识点详解 #### 一、大数据概览 **1. 大数据定义** - **概念解析**：大数据的概念并非特指某个具体的数据量级，而是指那些无法用传统的数据处理工具进行有效捕捉、管理和处理的数据集合。这种...
【IT十八掌徐培成】Hadoop第02天-01.Hadoop基础回顾-进程初识-webui.zip
08-13
本资源"【IT十八掌徐培成】Hadoop第02天-01.Hadoop基础回顾-进程初识-webui.zip"聚焦于Hadoop的基础知识，特别是对Hadoop进程的理解以及如何通过Web UI进行监控。这里我们将深入探讨Hadoop的核心组件、进程架构以及...
Hadoop权威指南 第二版(中文版)
03-28
第1章 初识Hadoop 　数据！数据！ 　数据存储与分析 　与其他系统相比 　关系型数据库管理系统 　网格计算 　志愿计算 　1.3.4 Hadoop 发展简史 　Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce 　一个气象数据...
基于深度学习的行人分类.zip
09-21
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
机械制造工艺学课程设计手柄座设计“手柄座”零件的机械加工工艺规程及工艺装备.doc
09-21
机械制造工艺学课程设计手柄座设计“手柄座”零件的机械加工工艺规程及工艺装备.doc
电子设计论文通用红外遥控开关电子设计论文通用红外遥控开关
09-21
电子设计论文通用红外遥控开关电子设计论文通用红外遥控开关
软考-信息管理师考试知识汇总思维导图
09-21
软考--信息管理师考试知识汇总思维导图，包含项目十大管理领域知识点汇总提取，项目整合管理、项目范围管理、项目时间管理、项目成本管理、项目质量管理、项目人力资源管理、项目沟通管理、项目风险管理、项目采购管理、项目干系人管理等章节所有知识点通过思维导图的形式汇总出来，看图就理解本章所有的知识块以及他们之间的联系。归纳总结，帮助考试复习记忆，加深对 本章节内容的理解。适合时间少，没时间完整看完教材的人，在段时间内帮助理解记性，是考试前冲刺的好帮手。软考高级越来越难考了，为了方便大家能考过，希望大家早点准备，好好考复习资料，多看，多想，多记忆，多思考，多归纳总结。
STM32F103C8T6+CUBEMX+AHT20+中断(DMA)+BT04蓝牙
最新发布
09-21
STM32F103C8T6+CUBEMX+AHT20+中断(DMA)+BT04蓝牙
基于 PyTorch 的 3D 计算机视觉处理库.zip
09-21
基于 PyTorch 的 3D 计算机视觉处理库.zip
利用Gpg4win来打造一个安全的加密文件_51CTO博客_.zip
09-21
利用Gpg4win来打造一个安全的加密文件_51CTO博客_.zip
一个基于DirectX的程序捕获程序，结合Darknet yolo深度学习框架进行模型训练与对象识别。.zip
09-21
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
基于微信小程序+SpringBoot+Vue.JS前后端分离的农产品销售小程序 源码+数据库+录屏（毕业设计）
09-21
农产品销售系统是一个创新的电子商务平台，旨在为农民和消费者提供一个便捷、高效的农产品交易环境。该系统采用微信小程序作为用户界面，利用Vue.js框架进行前端开发，确保了用户界面的响应性和交互性。后端则采用SpringBoot框架，这是一个轻量级的Java企业级应用开发框架，它简化了基于Spring的应用开发，使得后端服务的搭建和维护更加高效。整个系统通过微信小程序与用户进行交互，提供农产品浏览、下单、支付、物流跟踪等功能，同时后端处理订单管理、库存控制、数据分析等业务逻辑，实现了农产品从田间到餐桌的全流程数字化管理。 启动教程：https://www.bilibili.com/video/BV1SzbFe7EGZ
九安KD-5910LV血压计BOM表
09-21
九安KD-5910LV血压计BOM表
【7层】6900平米左右一字型框架办公楼毕业设计（建筑结构图、计算书）.zip
09-21
【7层】6900平米左右一字型框架办公楼毕业设计（建筑结构图、计算书） 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md或论文文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。 5、资源来自互联网采集，如有侵权，私聊博主删除。 6、可私信博主看论文后选择购买源代码。
APM2706C-VB一款2个N+P-Channel沟道SOT23-6的MOSFET晶体管参数介绍与应用说明
09-21
±20V;7 /-4.5A;RDS(ON)=20 / 70mΩ@VGS=4.5V;VGS=20V;Vth=0.71 / -0.81V
传动轴毕业设计 机械制造基础课程设计.doc
09-21
传动轴毕业设计 机械制造基础课程设计.doc
基于MATLAB的深度强化学习控制.zip
09-21
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
Hadoop权威指南：初识与MapReduce解析
在初识Hadoop部分，作者介绍了大数据的重要性以及为何选择Hadoop作为数据存储和分析的解决方案。Hadoop是一个开源框架，特别适合处理和存储大量数据。书中详细讲述了Hadoop的发展历程，从早期的Nutch搜索引擎项目到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值