Hadoop源代码点滴-基础概念

最新推荐文章于 2024-10-10 17:12:11 发布
最新推荐文章于 2024-10-10 17:12:11 发布
阅读量49 收藏
点赞数
文章标签： 大数据 嵌入式
原文链接：http://www.cnblogs.com/jiangtao1218/p/8974607.html
版权
  1. 大数据特征：volume（数量）、variety（多样性）、velocity（产生的速度）
  2. 大数据特征：多、乱、快、杂
  3. 数据的来源：业务数据、日志、管理文档（OCR）、互联网、物联网、外购

转载于:https://www.cnblogs.com/jiangtao1218/p/8974607.html

weixin_30491641
关注
Hadoop简介之望见数据湖
JustinMars的博客
09-28 2586
1 Hadoop概述 随着信息化时代的来临，数据信息呈爆炸式增长。IBM的研究称，90%的人类文明数据是近两年产生的，而到了2020年，全球产生的数据量将是今天的44倍。传统的方法已难以应对越来越多的海量数据，因此海量数据的处理方法成为研究热点。大数据技术研究与应用推动互联网产业的快速发展，同时企业也促进了大数据技术的“新陈代谢”。 在国外的计算机行业，Yahoo，Linkedin，Fackbook，eBay等企业都着手搭建Hadoop平台，努力推动Hadoop技术的发展并完善Hadoop项目。在国内，随着
hadoop+spark+mongodb+mysql+c#
霍力强的专栏
11-30 2637
一、前言     从20世纪90年代数字化医院概念提出到至今的20多年时间，数字化医院（Digital Hospital)在国内各大医院飞速的普及推广发展，并取得骄人成绩。不但有数字化医院管理信息系统（HIS)、影像存档和通信系统（PACS)、电子病历系统（EMR)和区域医疗卫生服务（GMIS)等成功实施与普及推广，而且随着日新月异的计算机技术和网络技术的革新，进一步为数字化医院带来新的交互渠
Hadoop源代码点滴-自然常数e
weixin_30707875的博客
04-29 69
数学里的 e 为什么叫做自然底数？是不是自然界里什么东西恰好是 e？ https://www.zhihu.com/question/20296247 转载于:https://www.cnblogs.com/jiangtao1218/p/8971895.html...
Hadoop源代码点滴-文件系统HDFS
weixin_30621959的博客
06-03 88
HDFS是Hadoop集群的文件系统，这是一种分布（distributed）、容错（fault tolerant）的文件系统 所谓分布，是说整个文件系统的内容并非集中存储在一台或几台“文件服务器上”，而是分散在集群的不同节点上 对于大数据文件系统，文件之所以应该是分布式的，不再仅仅是容量和容错的问题，还有计算的问题。 大数据处理有个原则，就是数据在哪里，计算就在哪里。 分布的计算必然要...
Hadoop源代码点滴-系统结构（HDFS+YARN）
weixin_30929295的博客
06-03 99
Hadoop建立起HDFS和YARN两个字系统，前者是文件系统，管数据存储；后者是计算框架，管数据处理。 如果只有HDFS而没有YARN，那么Hadoop集群可以被用作容错哦的文件服务器，别的就没有什么应用可言了。虽然HDFS是个分布式的文件系统，但是对服务器的用户来说那只是他的内部实现，从外部看与一般的Raid结构的文件服务器并无多大的区别。 从功能和层次上看，YARN是HDFS的用户，是H...
Hadoop之MapReduce详解
Markble
08-18 4734
目录 一、 MapReduce概述 1.1 MapReduce定义 1.2 MapReduce优缺点 1.2.1 优点 1.2.2 缺点 1.3 MapReduce核心思想 1.4 MapReduce进程 1.5 官方WordCount源码 1.6 常用数据序列化类型 二、 Hadoop序列化 2.1 序列化概述 2.2 自定义bean对象实现序列化接口（Writable） 三、 MapReduce框架原理 3.1 InputFormat数据输入 3.1.1 切片与MapTas
VMStation+hadoop完全分布搭建master，slave1，slave2节点
qq_56274662的博客
11-16 2973
慢慢汲取，点滴进步。
行业大数据 -- 基于hadoop+spark+mongodb+mysql开发医院临床知识库系统(建议收藏)
a934079371的博客
07-15 1362
一、前言 从20世纪90年代数字化医院概念提出到至今的20多年时间，数字化医院（Digital Hospital)在国内各大医院飞速的普及推广发展，并取得骄人成绩。不但有数字化医...
Hadoop+Spark+MongoDB+MySQL+C#大数据开发项目最佳实践
大数据Spark教程详解
02-10 922
一、前言 随着IT技术的飞速发展，各行各业都已在广泛尝试使用大数据技术提供更稳健和优质的服务。目前，医疗IT系统收集了大量极具价值的数据，但这些历史医疗数据并没有发挥出其应有的价值。为此，本文拟利用医院现有的历史数据，挖掘出有价值的基于统计学的医学规则、知识，并基于这些信息构建专业的临床知识库，提供诊断、处方、用药推荐功能，基于强大的关联推荐能力，极大地提高医疗服务质量，减轻医疗人员的工作...
大数据项目实践：基于hadoop+spark+mongodb+mysql开发医院临床知识库系统
dotNET跨平台
08-22 2222
本文是一个.NET解决方案中结合大数据的需求，实践之后所写，所以总觉得东西都比较简单，我只期望本文能达到抛转引用的作用，能对同行做相关工作的朋友们有所参考，思路可以得到借鉴。
教育大数据总体解决方案（2）
2301_76549664的博客
04-13 1060
通过对用户已有核心系统和自建通用系统数据进行清洗整合之后，利用大数据中心的海量数据，实现跨业务、跨系统的多维数据分析，一定程度上实现数据预警和预判，通过数据大屏进行对诸如学校情况、教师情况、师生流动情况、营养餐情况、学生贫困情况等多维数据的查询与发布，数据融合呈现是以数据呈现为核心，支持在线OLAP的数据分析，满足多样化的数据呈现需求，实现跨业务的数据分析为教育教学的改进提供依据，按需为领导的决策制定提供依据。综合信息门户以不同角色关注的数据范围为基础，通过数据之间的联合分析提供个性化信息门户。
大数据分析入门概述
m0_47498690的博客
10-04 2682
本文旨在为有意向学习数据分析、数据开发等大数据方向的初学者提供一个学习指南，当然如果你希望通过视频课程的方式快速入门，B站UP主戴戴戴师兄的课程质量很高，并且适合初学者快速入门。本文的目的旨在为想要了解大数据但不知道该学习什么内容的初学者介绍大数据相关的各类工具以及各项技能。后续会按照本文提到的关键字逐条更新更详细的内容以及具体案例。SQL（Structured Query Language）是一种标准化的编程语言，用于管理关系数据库管理系统（RDBMS），如MySQL、PostgreSQL、Oracle、
netty之SpringBoot+Netty+Elasticsearch收集日志信息数据存储
CSDN_LiMingfly的博客
10-04 812
将大量的业务以及用户行为数据存储起来用于分析处理，但是由于数据量较大且需要具备可分析功能所以将数据存储到文件系统更为合理。尤其是一些互联网高并发级应用，往往数据库都采用分库分表设计，那么将这些分散的数据通过binlog汇总到一个统一的文件系统就显得非常有必要。#开发环境环境准备windows安装包 下载注意 es是以来java环境 所以需要安装jdk 支持1.7以上es-hander下载可视化操作插件@Id//姓名//年龄//级别//时间//电话//邮箱//地址。
大数据行业应用实训室建设方案
whwzzc的博客
10-08 1133
大数据项目实训平台确实是一个功能强大的工具，它不仅能够满足学校各种形式的实训教学活动需求，如实训周、小学期、综合课程设计等，还能提供小组分工协作的支持，为每个项目小组分配一套虚拟服务器集群，确保实训的顺利进行。唯众大数据教学云平台是一个开放式的课程平台，除了唯众的课程体系之外，老师可自主开发在线课程，支持Word、PPT、PDF、视频等常见课件直接转换成在线课程，从而让老师很方便的将专业基础课程迁移到平台上，便于构建完整的大数据、云计算、人工智能专业课程体系。此外，实训资源的不足严重阻碍了学生技能的培养。
消息队列介绍
weixin_38703379的博客
10-09 333
优点：性能单台（12000+），性能较好，管理界面较丰富。在互联网公司也有较多应用，有多个语言的成熟客户端。优点：性能单台（10万级），模型简单，接口易用。在阿里巴巴大规模应用。优点：性能单台（6000+）成熟，已经在很多公司得到应用。各种协议支持好，有多个语言的成熟客户端。缺点：运维难度大，对ZooKeeper强依赖。缺点：内部机制很难了解，也意味很难定制和掌控。缺点：性能较弱，缺乏大规模吞吐的场景的应用，有江河日下之感。优点：天生分布式性能最好，所以常见大数据领域。缺点：文档少，支持的语言较少。
打破常规，BD仓储物流的效能提升！
最新发布
RFIDyixin的博客
10-10 836
当前，随着国家战略的推进，JS与民用领域的融合不断加深，物流业也步入了军民融合的新时代。在智能仓储物流方面，JS物流的智能化进展受到了BD系统的高度关注和重视。
【尚硅谷】RocketMQ 消息队列学习笔记
qq_43539664的博客
10-02 536
Topic -> Queue -> 消息Queue 太多不好管理，将Queue划分成不同的分片，Broker 存储分片Broker 是按照分片存储的。
Hive优化操作（一）
m0_58076578的博客
10-06 4836
在使用 Hive 进行数据分析时，提高查询性能至关重要。以下是一些具体的优化策略，帮助我们在工作中更有效地管理和查询数据。
Hadoop源代码在Eclipse中的编译指南
- **Hadoop代码版本**：确保你下载的是与教程匹配的代码版本，这里提到的是2009年8月26日的版本，可能与后来的hadoop-0.19.x版本有所不同。 - **联网**：由于编译过程中，Ant构建工具会自动从互联网上下载必要的第...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值