win10搭建hadoop和spark，高级java面试题hashmap

fs.defaultFS

hdfs://localhost:9000

etc/hadoop/hdfs-site.xml

dfs.replication

1

8、Execution（执行操作）

（1）格式化hdfs硬盘 Format the filesystem: $ bin/hdfs namenode -format

Windows下是执行cmd命令，cd 到 hadoop 安装目录的 bin 目录下执行 hdfs namenode -format 命令

然后发现错误

解决办法：https://github.com/steveloughran/winutils 上GitHub上下载 winutils-master.zip 文件，

然后解压文件找到 hadoop 对应版本的 winutils.exe 文件，放到 /bin 目录下

然后放到 /bin 目录下，重新执行 hdfs namenode -format 命令，发现hadoop安装目录的磁盘下

tmp\hadoop-com\dfs\name\current 目录下创建了hdfs的原数据信息，cmd窗口也没报错，说明格式化成功

（2）Start NameNode daemon and DataNode daemon: $ sbin/start-dfs.sh

Windows下是执行cmd命令，cd 到 hadoop 安装目录的 sbin 目录下执行 start-dfs.cmd 命令

弹出了两个窗口，一个 NameNode 和一个 DataNode  ，同时也报了一个错误，往下分析

问题描述：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

问题分析：

原数据信息已经在本地 D 盘初始化了，但是启动hdfs的时候读取的却是C盘下的路径

解决办法：

1、把hadoop的安装目录移动到 C盘重新执行

2、找配置文件，设置 hdfs读取的路径为安装路径或者写成绝对路径

（3）Browse the web interface for the NameNode; by default it is available at: NameNode - http://localhost:50070/

9、YARN on a Single Node

（1）etc/hadoop/mapred-site.xml:

mapreduce.framework.name

yarn

（2）etc/hadoop/yarn-site.xml:

yarn.nodemanager.aux-services

mapreduce_shuffle

（3）Start ResourceManager daemon and NodeManager daemon: $ sbin/start-yarn.sh

Windows下启动 yarn，执行 /sbin 目录下的 start-yarn.cmd 命令

（4）Run a MapReduce job. stop the daemons with: $ sbin/stop-yarn.sh

Windows下关闭 yarn，执行 /sbin 目录下的 stop-yarn.cmd 命令

10、根据权威的官方网站可知，namenode和DataNode的原数据目录配置是在 etc/hadoop/hdfs-site.xml 文件里边

hadoop集群版配置： Apache Hadoop 2.7.7 –

<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

dfs.replication

1

dfs.namenode.name.dir

…/dir/namenode

dfs.datanode.data.dir

…/dir/datanode

11、继续hdfs的启动步骤

1. cmd 进入 /bin 目录下，执行命令：hdfs namenode -format

2. 再进入/sbin目录下，启动hdfs：start-dfs.cmd

3. 浏览器打开网站：http://localhost:50070/

4. /sbin目录下，启动yarn：start-yarn.cmd

执行完 hdfs namenode -format 之后，根据comand info 可以发现，NameNode的目录已经初始化到安装路径的 dir 目录下

进入 \dir\namenode\current 目录查看，hdfs的NameNode初始化完成

进入/sbin目录下，启动 hdfs：start-dfs.cmd 之后，弹出了NameNode和DataNode窗口，又出现了报错

问题描述：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

问题描述：

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Java）

总目录展示

该笔记共八个节点（由浅入深），分为三大模块。

高性能。 秒杀涉及大量的并发读和并发写，因此支持高并发访问这点非常关键。该笔记将从设计数据的动静分离方案、热点的发现与隔离、请求的削峰与分层过滤、服务端的极致优化这4个方面重点介绍。

一致性。 秒杀中商品减库存的实现方式同样关键。可想而知，有限数量的商品在同一时刻被很多倍的请求同时来减库存，减库存又分为“拍下减库存”“付款减库存”以及预扣等几种，在大并发更新的过程中都要保证数据的准确性，其难度可想而知。因此，将用一个节点来专门讲解如何设计秒杀减库存方案。

高可用。 虽然介绍了很多极致的优化思路，但现实中总难免出现一些我们考虑不到的情况，所以要保证系统的高可用和正确性，还要设计一个PlanB来兜底，以便在最坏情况发生时仍然能够从容应对。笔记的最后，将带你思考可以从哪些环节来设计兜底方案。

---

篇幅有限，无法一个模块一个模块详细的展示（这些要点都收集在了这份《高并发秒杀顶级教程》里），麻烦各位转发一下（可以帮助更多的人看到哟！）

由于内容太多，这里只截取部分的内容。

设计秒杀减库存方案。

高可用。 虽然介绍了很多极致的优化思路，但现实中总难免出现一些我们考虑不到的情况，所以要保证系统的高可用和正确性，还要设计一个PlanB来兜底，以便在最坏情况发生时仍然能够从容应对。笔记的最后，将带你思考可以从哪些环节来设计兜底方案。

---

篇幅有限，无法一个模块一个模块详细的展示（这些要点都收集在了这份《高并发秒杀顶级教程》里），麻烦各位转发一下（可以帮助更多的人看到哟！）

[外链图片转存中…(img-5q9rm7Sv-1711087973737)]

[外链图片转存中…(img-zXxCY5dF-1711087973738)]

由于内容太多，这里只截取部分的内容。

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录