![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
网络
AdamShyly
努力学习
展开
-
Hadoop RPC通信连接问题
如果仅在本地测试Hadoop RPC进程通信没有出现问题,但部署于云服务器后发现进程之间socket无法连接通信,且在同一安全组(局域网)内的云服务器通过curl查看RPC端口也出现connection refused错误;且由于该RPC进程都是部署于docker容器中,通过云服务器本机curl查看RPC映射端口返回connection reset by peer。最终发现在RPC创建代理时域名写为localhost才能进行正常连接。.........原创 2022-06-05 04:11:28 · 547 阅读 · 0 评论 -
Tomcat 初始化启动 Hadoop RPC进程
为了防止Hadoop-client与tomcat相关依赖冲突,需要排除一些jar包 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.2.3</version> <exclusions> &l原创 2022-05-27 15:41:22 · 195 阅读 · 0 评论 -
Hadoop RPC进程通信应用
Hadoop的RPC是基于socket的半双工通信机制,两边如果需要互相向对方传数据则需要建立两个通道;还要注意同一时间只能存在一个通道,否则双方的通信都会进入阻塞状态package com.linux.rpc2;import org.apache.hadoop.io.Text;public interface RPCProtocol { long versionID = 999; public void testProgram(int inputData); .原创 2022-05-05 02:27:27 · 1335 阅读 · 0 评论 -
Hadoop 两台物理机内部虚拟机组建集群(使用手机热点)
如果想同时启动多台虚拟机来搭建Hadoop集群,但发现一台物理机无法承受这么大的内存、硬盘、CPU消耗,则可以再拿一台物理机进行实验。第一步:开启手机热点,让两台物理机都通过WIFI连接到该热点,目的是构建局域网第二步:两个物理机下的所有虚拟机的网络模式要从NAT改为桥接,并且要勾上“复制物理网络连接状态”第三步:配置虚拟机子网。如果虚拟机想访问外网就要跟手机热点处于同一个子网,并且服务器的网关和DNS都要和该子网的网关相同。这里关于手机热点的子网划分可以从物理机用ipconfig.原创 2022-04-16 18:47:26 · 2330 阅读 · 0 评论