愚公移山日记·16
学习进程
这两天的学习目标是搞懂多进程,应用于去检验IP地址是否可用,那么多进程相对于小白也是比较难懂的,自己看书琢磨了几日,发现书本上的东西还是太单薄,根本没有办法去结局所有问题,最后还是回B站(真香~~~)之前我觉得B站上面的东西都是娱乐化,但是你要是直接搜索相关的关键,其实能给我们一个满意的答案,就比如我在B站上面的搜索的‘多线程python’,里面的up主讲解的还是很清楚的。
那么来说一下我代码的目的,从一个免费的IP网站上爬取IP地址,然后验证其IP是否可用,当然在检验IP地址的时候会很慢,所以我选择多线取检验IP地址。
我写了段代码其实这代码是有问题的,它仅仅可以检验一个网页的IP地址是否真确,而且会不断的循环,不会停。
import re
import requests
from fake_useragent import UserAgent
from threading import Thread
def get_ip_from_html():
headers = {'user-agent':UserAgent().random}
urls = ['http://www.xiladaili.com/gaoni/{}/'.format(i) for i in range(1,2)]
nums = []
for url in urls:
response = requests.get(url,headers= headers)
num = re.findall(r'<tr>[\s\S]*?<td>(.*?)</td>',response.text)
nums.append(num)
return nums
def try_ip(ip):
try:
requests.get('http://wenshu.court.gov.cn/', proxies={"http":'http://' + ip})
except:
print ('connect failed')
else:
print('记录完成:' + ip)
if __name__ =='__main__':
nums = get_ip_from_html()
for i in nums:
while True:
threading_task= []
for k in i :
t = Thread(target = try_ip,args=(k,))
t.start()
threading_task.append(t)
for m in threading_task:
t.join()
print('结束')
总结一下,我感觉是我的多线程的内容给理解不够扎实,并且不会用面向对象取编程,所以我得继续去学习,下面是大佬给我写的代码,由于我当时的想法是先把网页上的内容爬取去,然后检验一下,可以用的IP保存到一个文档内
class Pro(threading.Thread):
def __init__(self,name,queue,ip_queue):
threading.Thread.__init__(self,name=name)
self.url_data = queue
self.ip_queue = ip_queue
def run(self):
while not self.url_data.empty():
url = self.url_data.get()
try:
response = requests.get(url,headers=headers,timeout=10)
response.raise_for_status()
ip_list = re.findall(r'<tr>[\s\S]*?<td>(.*?)</td>',response.text)
for ip in ip_list:
self.ip_queue.put(ip)
print(' 生产者%s将ip %s加入队列\n' % (self.getName(), ip))
except :
print('连接超时\n')
class Con(threading.Thread):
def __init__(self,name,ip_queue):
threading.Thread.__init__(self,name=name)
self.data = ip_queue
def run(self):
global flag
while flag:
val = self.data.get()
print(' 消费者%s将ip %s取出队列\n' % (self.getName(), val))
lock.acquire()
with open(path,'a') as f:
f.write(val+'\n')
lock.release()
if self.data.empty():
flag = False
time.sleep(random.random())
这里我就把重要的自定义函数直接打出来,就不再把前后打出来了。
在这之后我的是不再把能用的IP地址保存到文档中,我就检验完的IP直接用,但是我还是出现了问题。我再看看,在学习一下。加油吧!