- 博客(6)
- 收藏
- 关注
原创 手把手与你一起走 MapReduce 编程的套路
目录一.MapReduce的运行步骤(待补充)二.编程模板 1.自定义Mapper类继承Mapper,并重写map方法:2.自定义Reducer类集成Reducer,并重写Reduce方法 3.Driver 主入口,整合mapper和reducer 4.idea 打成jar包 5.服务器执行hadoop jar一.MapReduce的运行步骤(待补充)二.编程模板 ...
2021-08-22 22:20:05 942 1
原创 Hadoop 集群安装的敲黑板重点
一.了解Hadoop的集群架构二.安装的配置文件关键点 很多博客都有详细的完全分布式和高可用的安装步骤,我这里不再赘述,我这边着重讲一下关键的配置信息。 1.core-site.xml 公共的配置文件 (1)配置hdfs的访问地址:hdfs://namenode的主机名:9000...
2021-08-15 22:21:12 502
原创 Hadoop 硬核认识
一.什么是Hadoop? 诞生:为了处理大数据本质:分而治之 在我理解中是分成三大部分:存储,计算,中间协调组件 下面这张图(来自度娘)很好的画出了Hadoop的生态圈二.Hadoop 经典问题来认识Hadoop的思想1.有一个非常大的文件,计算文件每个单词出现的次数 众人拾柴火焰高,面对大数据,一台机器算不过来而且性能也差,分多台机器算,是不是很像多线程的思想,如文件是1个T,那么把1个T的文件分成10个,由10台机...
2021-08-10 22:49:38 856 2
原创 java 类,方法,变量,对象
1.Java运行环境JRE(Java Runtime Enviroment)是 Java 的运行环境。面向 Java 程序的使用者,而不是开发者。如果你仅下载并安装了JRE,那么你的系统只能运行 Java 程序。JRE 是运行 Java 程序所必须环境的集合,包含JVM标准实现及 Java 核心类库。它包括 Java 虚拟机、Java 平台核心类和支持文件。它不包含开发工具(编译器、调试器等)。JDK(Java Development Kit)又称 J2SDK(Java2 Software De..
2021-07-06 23:45:25 102
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人