spark启动pyspark shell时报错socket.error: [Errno 99] Cannot assign requested address

最新推荐文章于 2023-11-28 21:02:58 发布
最新推荐文章于 2023-11-28 21:02:58 发布
阅读量1.6k 收藏 2
点赞数
分类专栏： spark 大数据 文章标签： pyspark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ASN_forever/article/details/84673374
版权

这是个socket请求错误，意思是说不能为其分配请求的地址。 

分析原因：

socket发起connect请求的时候会随机分配一个端口给你。这个分配的端口是有范围的，记录在：

/proc/sys/net/ipv4/ip_local_port_range

可以看到我的端口范围是32768到60999。当你用多个进程发起过多的请求的时候，端口用完了就会报这个错误。

解决办法：

要解决端口被TIME_WAIT状态的socket占满的问题，可以有以下的解决办法：

a) 修改可用端口范围（我使用了这种）

 

修改之后再启动pyspark就正常了。
 

这种办法可能不能解决根本问题，因为如果使用短连接，即使增加可用端口还是会被占满的。 
 

b) 设置net.ipv4.tcp_tw_recycle = 1(但网上说尽量不要修改这个值)
 

这个参数表示系统的TIME-WAIT sockets是否可以快速回收
 

c) 设置net.ipv4.tcp_tw_reuse=1
 

这个参数表示是否可以重用TIME_WAIT状态的端口；
 

参考：https://www.cnblogs.com/djiankuo/p/5956606.html
 

 

                

        

        

    

  


    

      

        

            

              
                
                  ASN_forever
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
sqllineage 报错 OSError: [Errno 99] Cannot assign requested address

				
			

			

				

					yy的博客
				

				

					09-01
					
					435
					
				

			

		

		

			
				
python的数据血缘工具sqllineage



根据文件查看数据血缘图

注意 这里-H 必须接 hostname ,接ip会报错OSError: [Errno 99] Cannot assign requested address


sqllineage -g -H sbider-dev-01  -p 60000 -f ./ppn2/update-data/asset_sn_day_partition/asset_sn_day_partition.sql

帮助文档



效果图

打开执行...

			
		

	



                

              
                



	

		

			

				
					
Linux: errno: EADDRNOTAVAIL； ipv6-bind；Cannot assign requested address

				
			

			

				

					mzhan017的博客
				

				

					09-25
					
					613
					
				

			

		

		

			
				
有一种情况是：当IP6的地址处于tentative的时候，就会返回这个错误。下面的是bind的调用的时候会check地址的flag。如果是tentative就返回：err = -EADDRNOTAVAIL;

			
		

	



                


  
              

                


	

		

			

				
					
socket：OSError: [Errno 99] Cannot assign requested address

				
			

			

				

					shunzi2016的博客
				

				

					03-10
					
					3297
					
				

			

		

		

			
				
socket：OSError: [Errno 99] Cannot assign requested address
这个时候出现了有意思的地方，为什么代码获取的仍然是我修改ip之前的IP地址4.222，而不是修改之后的4.224，这个时候将这个已经不存在的4.222赋给绑定监听一定会报错的呢。意思就是说没办法分配获取到的IP地址，然后debug了一下获取到的IP地址以及主机查询到的IP地址果然存在冲突。在编写一个socket程序时使用了如下代码。但在执行时却发生异常。

			
		

	





	

		

			

				
					
造成socket.error: [Errno 99] Cannot assign requested

				
			

			

				

					活不明白的专栏
				

				

					09-06
					
					3万+
					
				

			

		

		

			
				
在用python进行socket编程的时候，你可能会在进行connect的时候发现系统给你报了这么个错误：
socket.error: [Errno 99] Cannot assign requested address
网上你去搜，基本都是说bind的时候，地址已经被用了,都是胡扯。地址被用报的错误应该是：
Address already in use才对
然后我看得都是英文的，说明外国

			
		

	



		

			
		



	

		

			

				
					
[Errno 99] Cannot assign requested address的报错原因：没有多余的端口可分配

				
			

			

				

					qq_42995048的博客
				

				

					08-21
					
					6283
					
				

			

		

		

			
				
a



			
		

	





	

		

			

				
					
socket.error: [Errno 99] Cannot assign requested address

				
			

			

				

					weixin_30439067的博客
				

				

					09-12
					
					621
					
				

			

		

		

			
				
方法一：python 命令行下运行 vi /etc/hosts
将127.0.1.1 那一行的名字改成你的（用 vi /etc/hostname 获取）
127.0.0.1 localhost
127.0.1.1 your hostname #此处的填hostname，记住必须与/etc/hostname中的名字一致！
以上更改后退出vim 保存更改 如果提示文件为只读状态导致无法更...

			
		

	





	

		

			

				
					
[译]Python - socket.error: Cannot assign requested address

				
			

			

				

					dideng8675的博客
				

				

					01-23
					
					637
					
				

			

		

		

			
				
原文来源: https://stackoverflow.com/questions/48306528/python-socket-error-cannot-assign-requested-address
问：
我写了一个聊天服务器，但是我不能够将socket绑定到一个IP地址，具体代码如下：
import sys
import os
import socket

HOST = "194...

			
		

	





	

		

			

				
					
jupyter notebook报错：OSError: [Errno 99] Cannot assign requested address 成功解决

				
			

			

				

					sinat_28228443的博客
				

				

					12-26
					
					4492
					
				

			

		

		

			
				
Terminal启动 jupyter notebook报错：OSError: [Errno 99] Cannot assign requested address
Traceback (most recent call last):
  File "/home/users/anaconda3/bin/jupyter-notebook", line 11, in <module>
    sys.exit(main())
  File "/home/users/anaconda3/lib/pyth

			
		

	





	

		

			

				
					
Supervisor修改配置文件后启动出错：Error: Cannot open an HTTP server: socket.error reported errno.EADDRNOTAVAIL

				
			

			

				

					LayHill的博客
				

				

					09-21
					
					2050
					
				

			

		

		

			
				
vim /etc/supervisord.conf

修改配置文件
把[inet_http_server]模块的注释去掉
并修改默认的IP、用户名与密码

修改完成后，重载配置文件：
supervisorctl reload

这时候，发现supervisor的服务已经停了，systemctl status supervisord查看状态：

这种情况一般是配置文件出错了：
注意port后面填的不是本机地址如47.xxx.xxx.xxx，它是指的是谁可以访问服务器的supervisor，不填的话就是谁都可.

			
		

	





	

		

			

				
					
压测：Failed to establish a new connection: [Errno 99] Cannot assign requested address

				
			

			

				

					Allan_shore_ma的博客
				

				

					01-28
					
					3940
					
				

			

		

		

			
				
压测：Failed to establish a new connection: [Errno 99] Cannot assign requested address

一、原因
socket TIME_WAIT状态未结束前，消耗完所有可用端口并尝试重用这些端口；导致没有可用端口。
二、解决方案

增加可用端口范围

# sysctl net.ipv4.ip_local_port_range
net.ipv4.ip_local_port_range = 32768	60999
# sysctl net.ip

			
		

	





	

		

			

				
					
一次socket.error: [Errno 99] Cannot assign requested address报错排查

				
			

			

				

					技术宅，专注云原生、Go、Linux、Java等技术分享，原创文章、效率工具、实战解决方案！关注我，了解互联网动态，学 IT 不迷路
				

				

					07-15
					
					1万+
					
				

			

		

		

			
				
今天在Ucloud国际版的机器上配置某个不可描述的服务时，遇到了 socket.error: [Errno 99] Cannot assign requested address 的错误，详细如下：

[root@liabio ~]# docker logs c0c34ba49967
2019-07-15 00:02:26 INFO     loading libcrypto from libcr...

			
		

	





	

		

			

				
					
[含泪解决]OSError: [Errno 99] Cannot assign requested address__踩坑记录——app.py绑定IP失败

					
最新发布

				
			

			

				

					jxwd的博客
				

				

					11-28
					
					6232
					
				

			

		

		

			
				
(问题解决了，图当时没保存，是后来从网上找的，我的是Errno99，不是98，下图显示的是98，不过这些小细节不重要了hhh)然后不是要部署到服务器上么，所以我的这个IP地址理所应当就肯定要是我的服务器的IP地址了。这行代码中，xxx.xxx.xxx.xxx代表我的IP地址，port代表我的端口号。经过很多很多尝试之后（具体经过了怎样一个坎坷的过程就不赘述了），最后的结论就是，是这个样子的，前几天帮别人部署Python的Flask项目到云服务器上，然后在。如果你不知道你的内网IP的多少，

			
		

	





	

		

			

				
					
Socket connect error  99(Cannot assign requested address)

				
			

			

				

					guojun07的专栏
				

				

					06-22
					
					8135
					
				

			

		

		

			
				
转载请注明转自: 存储系统研究, 本文固定链接:

socket connect error 99(Cannot assign request address) 这是最近使用libcurl写http服务的压力测试的时候遇到的一个问题，其直接表象是客户端在发送http请求时失败，最终原因是客户端的TIME_WAIT状态的socket进程过多，导致端口被占满。下面看整个分析过程：
(1) 首先看

			
		

	





	

		

			

				
					
Python OSError: [Errno 99] Cannot assign requested address错误的解决 阿里云报错

				
			

			

				

					喵酱
				

				

					08-28
					
					3791
					
				

			

		

		

			
				
参考博客：

https://www.cnblogs.com/lfri/p/11978802.html

用python写了一个socket的服务，在本地运行好好的，结果移到阿里云服务器上就开始报错了

OSError: [Errno 99] Cannot assign requested address



使用本地测试（即HOST='localhost'）是可以的，但是在腾讯云/阿里云上报错“[Errno 99] Cannot assign requested address”，

解决方法：服务端的

			
		

	





	

		

			

				
					
Python  OSError: [Errno 99] Cannot assign requested address错误的解决

					
热门推荐

				
			

			

				

					FreeSpider
				

				

					04-21
					
					5万+
					
				

			

		

		

			
				
                    Python  OSError: [Errno 99] Cannot assign requested address错误的解决

 


tcpOrder_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
 #强制允许端口复用
tcpOrder_socket.setsockopt(sock...

			
		

	





	

		

			

				
					
pip安装环境报错[Errno 99] Cannot assign requested address问题解决

				
			

			

				

					Together_CZ的博客
				

				

					01-18
					
					1397
					
				

			

		

		

			
				
今天在一个新的环境里面安装包的时候报错[Errno 99] Cannot assign requested address，具体如下所示：



网上也查了一些资料，发现跟我问题相关的几乎没有，我就开始想这个问题应该不是很复杂的报错，就尝试升级pip试一下：



升级之后重新安装环境就可以了，记录一下吧，希望能帮到遇上同样问题的人。


...

			
		

	





	

		

			

				
					
python socket编程腾讯云下报错[Errno 99] Can not assign request address的解决方式

				
			

			

				

					BAIFOL的博客
				

				

					04-28
					
					1550
					
				

			

		

		

			
				
先写服务端 server.py：


import socket
import time
 
HOST = '172.17.xx.xx'  #服务器的私网IP
#HOST = 'localhost'
PORT = 8001
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.bind((HOST, PORT))
sock.listen(5)
while True:
    connection,address = sock.accept

			
		

	





	

		

			

				
					
pyspark本地运行socket.gaierror: [Errno 8] nodename nor servname provided, or not known

				
			

			

				

					lieying的博客
				

				

					04-25
					
					382
					
				

			

		

		

			
				
解决方法，加一个函数即可：

def patch_pyspark_accumulators():
    from inspect import getsource
    import pyspark.accumulators as pa
    exec(getsource(pa._start_update_server).replace("localhost", "127.0.0.1"), pa.__dict__)

patch_pyspark_accumulators()


...

			
		

	





	

		

			

				
					
 pyspark在windows下java.net.SocketException: Connection reset by peer 错误

				
			

			

				

					一个今天胜过两个明天
				

				

					12-05
					
					1429
					
				

			

		

		

			
				
pyspark在windows加载数据集 训练模型出现 以下错误
java.net.SocketException: Connection reset by peer: socket write error
        at java.net.SocketOutputStream.socketWrite0(Native Method)
        at java.net.Socket...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值