局域网内环境搭建-PC篇2

环境搭建
suweishuai@pd:~$ cat /etc/os-release 
PRETTY_NAME="Ubuntu 22.04.1 LTS"
NAME="Ubuntu"
VERSION_ID="22.04"
VERSION="22.04.1 LTS (Jammy Jellyfish)"
VERSION_CODENAME=jammy
ID=ubuntu
ID_LIKE=debian
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
UBUNTU_CODENAME=jammy
suweishuai@pd:~$ uname -r
5.19.0-38-generic
hardware
主板 : HUANANZHI X99-AD3
	cpu : Intel(R) Xeon(R) CPU E5-2696 v3 @ 2.30GHz
	存储
		内存 : 2*16G
		盘sda :
				sda1 /dev/sda1     2048    1050623   1048576   512M EFI System
				sda2  1050624 1000214527 999163904 476.4G Linux filesystem
		资料盘 :
				nvme0n1p1       2048 2000409263 2000407216 953.9G 83 Linux
	接口
		usb接口 : 2(3.0)+6(2.0)
		主板预留接口: TODO
			PCI-E 3.0 1× PCI-EX16显卡插槽
					hdmi接口: 一个
					VGA接口 : 一个
					音频接口 : 一个
	网口
		网口: RJ45
	音视频接口
		音频接口 : 一套
	其他
		PS/2接口 :2个
		电源接口 : 一个
delete // bios
F11 // boot sequence
// 注意 : 00 开头的 都是 南北桥 提供的 pcie 设备

00:00.0 Host bridge: Intel Corporation Xeon E7 v3/Xeon E5 v3/Core i7 DMI2 (rev 02) // 他没有接pcie设备,接了桥和pci设备
	// 是 host bridge 扇出的第一个桥,host bridge 扇出的第一个桥 每一个都是 virtual PCI-PCI bridge
	// 和 00:01.0 是同级的!!!
	// 注意: 他 不是 pcie 的 host bridge

// Root complex 扇出了 5个 pcie bridge
// 其中 4个pcie bridge 直接 接了卡槽
// 其中 1个pcie bridge (00:1c.7) 直接 接了pcie网卡(位于主板)
00:01.0 PCI bridge: Intel Corporation Xeon E7 v3/Xeon E5 v3/Core i7 PCI Express Root Port 1 (rev 02)// Root Port 字眼 :  PCI-PCI 桥
00:01.1 PCI bridge: Intel Corporation Xeon E7 v3/Xeon E5 v3/Core i7 PCI Express Root Port 1 (rev 02)// Root Port 字眼 :  PCI-PCI 桥
00:03.0 PCI bridge: Intel Corporation Xeon E7 v3/Xeon E5 v3/Core i7 PCI Express Root Port 3 (rev 02)// Root Port 字眼 :  PCI-PCI 桥
00:1c.0 PCI bridge: Intel Corporation C610/X99 series chipset PCI Express Root Port #1 (rev d5)// Root Port 字眼 :  PCI-PCI 桥
00:1c.7 PCI bridge: Intel Corporation C610/X99 series chipset PCI Express Root Port #8 (rev d5)// Root Port 字眼 :  PCI-PCI 桥

// 以下是 南北桥 提供的pci设备(非pcie) usb控制器
00:14.0 USB controller: Intel Corporation C610/X99 series chipset USB xHCI Host Controller (rev 05)
	Bus 004 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
	Bus 003 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
00:1a.0 USB controller: Intel Corporation C610/X99 series chipset USB Enhanced Host Controller #2 (rev 05)
	Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
00:1d.0 USB controller: Intel Corporation C610/X99 series chipset USB Enhanced Host Controller #1 (rev 05)
	Bus 002 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub


00:05.0 System peripheral: Intel Corporation Xeon E7 v3/Xeon E5 v3/Core i7 Address Map, VTd_Misc, System Management (rev 02)
00:05.1 System peripheral: Intel Corporation Xeon E7 v3/Xeon E5 v3/Core i7 Hot Plug (rev 02)
00:05.2 System peripheral: Intel Corporation Xeon E7 v3/Xeon E5 v3/Core i7 RAS, Control Status and Global Errors (rev 02)
00:05.4 PIC: Intel Corporation Xeon E7 v3/Xeon E5 v3/Core i7 I/O APIC (rev 02)
00:11.0 Unassigned class [ff00]: Intel Corporation C610/X99 series chipset SPSR (rev 05)
00:16.0 Communication controller: Intel Corporation C610/X99 series chipset MEI Controller #1 (rev 05)
00:16.1 Communication controller: Intel Corporation C610/X99 series chipset MEI Controller #2 (rev 05)
00:1f.3 SMBus: Intel Corporation C610/X99 series chipset SMBus Controller (rev 05)


00:1f.0 ISA bridge: Intel Corporation C610/X99 series chipset LPC Controller (rev 05) // 南北桥提供的pci设备(pcie转isa)
00:1f.2 SATA controller: Intel Corporation C610/X99 series chipset 6-Port SATA Controller [AHCI mode] (rev 05) // 南北桥提供的SATA控制器
00:1b.0 Audio device: Intel Corporation C610/X99 series chipset HD Audio Controller (rev 05)  // 南北桥 提供的声卡
03:00.1 Audio device: NVIDIA Corporation GT216 HDMI Audio Controller (rev a1)// 主板 提供的pcie卡槽 , pcie 显卡的function1
03:00.0 VGA compatible controller: NVIDIA Corporation GT216 [GeForce GT 220] (rev a2) // 主板 提供的pcie卡槽 , pcie 显卡function0
02:00.0 Non-Volatile memory controller: MAXIO Technology (Hangzhou) Ltd. NVMe SSD Controller MAP1202 (rev 01) // 主板提供的pcie卡槽, m.2 卡槽上的 nvme 固态硬盘
05:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 10) // 主板上自带的pcie有线网卡

$ lspci -t
-+-[0000:ff]-+-0b.0
 |           +-0b.1
 |           +-1f.0
 |           \-1f.2
 \-[0000:00]-+-00.0
             +-01.0-[01]--
             +-01.1-[02]----00.0
             +-03.0-[03]--+-00.0
             |            \-00.1
             +-05.0
             +-05.1
             +-05.2
             +-05.4
             +-11.0
             +-14.0
             +-16.0
             +-16.1
             +-1a.0
             +-1b.0
             +-1c.0-[04]--
             +-1c.7-[05]----00.0
             +-1d.0
             +-1f.0
             +-1f.2
             \-1f.3
else
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 要在两台局域网PC上搭建Hadoop集群,需要按照以下步骤进行操作: 1. 配置网络:确保两台PC在同一个局域网内,可以通过路由器或交换机连接它们,并且给每台PC分配一个独立的IP地址。 2. 安装Java:在每台PC上都需要安装Java Development Kit(JDK),并配置Java环境变量。 3. 下载Hadoop:从Apache Hadoop的官方网站上下载适用于Windows系统的Hadoop二进制文件。 4. 配置Hadoop:解压下载的Hadoop二进制文件,并在每台PC上修改hadoop-env.cmd文件,设置JAVA_HOME环境变量。 5. 配置Hadoop集群:在其中一台PC上作为主节点(NameNode),编辑core-site.xml和hdfs-site.xml配置文件。在另一台PC上作为从节点(DataNode),也编辑core-site.xml和hdfs-site.xml配置文件。确保在配置文件中正确指定各节点的IP地址和端口号。 6. 启动Hadoop集群:首先在主节点上启动Hadoop集群的NameNode和ResourceManager。然后在从节点上启动DataNode和NodeManager。可以通过命令行运行start-dfs.cmd和start-yarn.cmd启动Hadoop集群。 7. 验证集群:打开浏览器,输入主节点IP地址和端口号来访问Hadoop的Web界面。确认Hadoop集群的运行状态以及每个节点的连接状态。 通过以上步骤,可以在两台局域网PC上成功搭建Hadoop集群。注意要保持PC的网络连接稳定,并适当调整Hadoop的配置文件以适应实际需求。 ### 回答2: 搭建一个基于Windows的Hadoop集群需要按照以下步骤进行操作: 1.安装Java:Hadoop是基于Java开发的,所以首先需要在两台PC上安装Java运行环境。确保PC上已经安装了合适版本的Java,并将Java的环境变量正确设置。 2.下载Hadoop:从Apache官方网站上下载最新的Hadoop版本,并将其解压到一个目录中。 3.配置系统环境变量:在系统环境变量中添加一下两个变量: - HADOOP_HOME: Hadoop解压目录的路径 - PATH:添加% HADOOP_HOME% \ bin 4.配置Hadoop文件:进入Hadoop解压目录的`etc/hadoop`目录,修改以下配置文件: - core-site.xml:设置Hadoop的核心配置,如hadoop.tmp.dir和fs.defaultFS。 - hdfs-site.xml:设置HDFS配置,如dfs.replication和dfs.namenode.name.dir。 - yarn-site.xml:设置YARN配置,如yarn.nodemanager.aux-services和yarn.resourcemanager.hostname。 5.配置主机文件:进入Hadoop解压目录的`etc/hadoop`目录,编辑`slaves`文件,列出所有作为集群节点的PC的主机名或IP地址。 6.复制配置文件:将Hadoop解压目录的`etc/hadoop`目录复制到所有其他集群节点的相同位置。 7.启动Hadoop服务:在一个节点上启动Hadoop服务,打开命令行窗口并输入命令:`start-all.cmd`,这会启动HDFS和YARN服务。 8.测试Hadoop集群:打开Web浏览器,输入`http://<节点IP地址>:50070`,可以查看Hadoop的NameNode状态;输入`http://<节点IP地址>:8088`,可以查看YARN的ResourceManager状态。 重复以上步骤,将另一台PC配置为另一个节点。现在你已经成功搭建了一个基于Windows的Hadoop集群。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值