大数据处理技术
文章平均质量分 95
hadoop等大数据处理技术
人生百态,人生如梦
如果喜欢我的创作内容,可以关注我的个人微信公众号:ai小白成长之旅
展开
-
大数据处理从零开始————8.基于Java构建WordCount项目
下载IntelliJ IDEA。全部下一步,中途遇到需要勾选的全部勾选即可。原创 2024-09-29 16:40:15 · 836 阅读 · 0 评论 -
大数据处理从零开始————3.Hadoop伪分布式和分布式搭建
伪分布式集群就是只有⼀个服务器节点的分布式集群。在这种模式中,我们也是只需要⼀台机器。但与本地模式不同,伪分布式采⽤了分布式的思想,具有完整的分布式⽂件存储和分布式计算的特 点。在进⾏存储和计算时,将涉及到的相关守护进程都运⾏在同⼀台机器上,它们都是独⽴的 Java进程,因⽽称为“伪分布式集群”。伪分布式集群模式,⽐本地模式多了代码调试功能,允许检查内存的使⽤、HDFS输⼊输出、以及 其他的守护进程交互情况。在真实的企业环境中,服务器集群会使⽤到多台机器共同配合,来构建⼀个完整的分布式⽂件系 统。原创 2024-09-20 18:11:46 · 1399 阅读 · 1 评论 -
大数据处理从零开始————2.Hadoop环境配置
官网下载即可。密钥:百度搜索一下有很多。原创 2024-09-12 14:12:15 · 1033 阅读 · 0 评论 -
大数据处理从零开始————1.Hadoop介绍
大数据的定义是什么?百度百科是这样说的——大数据(Big Data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据有如下几个核心特征:1.容量(Volume):数据的大小决定所考虑的数据的价值和潜在的信息2.种类(Variety):数据类型的多样性3.速度(Velocity):指获得数据的速度4.可变性(Variability):妨碍了处理和有效地管理数据的过程。原创 2024-08-31 21:24:38 · 1337 阅读 · 0 评论