愚公移山日记·16

愚公移山日记·16

学习进程

这两天的学习目标是搞懂多进程，应用于去检验IP地址是否可用，那么多进程相对于小白也是比较难懂的，自己看书琢磨了几日，发现书本上的东西还是太单薄，根本没有办法去结局所有问题，最后还是回B站（真香~~~）之前我觉得B站上面的东西都是娱乐化，但是你要是直接搜索相关的关键，其实能给我们一个满意的答案，就比如我在B站上面的搜索的‘多线程python’，里面的up主讲解的还是很清楚的。
那么来说一下我代码的目的，从一个免费的IP网站上爬取IP地址，然后验证其IP是否可用，当然在检验IP地址的时候会很慢，所以我选择多线取检验IP地址。
我写了段代码其实这代码是有问题的，它仅仅可以检验一个网页的IP地址是否真确，而且会不断的循环，不会停。

import re
import requests
from fake_useragent import UserAgent
from threading import Thread
def get_ip_from_html():
    headers = {'user-agent':UserAgent().random}
    urls = ['http://www.xiladaili.com/gaoni/{}/'.format(i) for i in range(1,2)]
    nums = []
    for url in urls:
        response = requests.get(url,headers= headers)
        num = re.findall(r'<tr>[\s\S]*?<td>(.*?)</td>',response.text)
        nums.append(num)
    return nums
def try_ip(ip):
		try:
                    requests.get('http://wenshu.court.gov.cn/', proxies={"http":'http://' +  ip})
                except:
                    print ('connect failed')
                else:
                    print('记录完成:' + ip)
 if __name__ =='__main__':
        nums = get_ip_from_html()
        for i in nums:
            while True:
                threading_task= []
                for k in i :
                    t = Thread(target = try_ip,args=(k,))
                    t.start()
                    threading_task.append(t)
                for m in threading_task:
                    t.join()
        print('结束')

总结一下，我感觉是我的多线程的内容给理解不够扎实，并且不会用面向对象取编程，所以我得继续去学习，下面是大佬给我写的代码，由于我当时的想法是先把网页上的内容爬取去，然后检验一下，可以用的IP保存到一个文档内

class Pro(threading.Thread):
    def __init__(self,name,queue,ip_queue):
        threading.Thread.__init__(self,name=name)
        self.url_data = queue
        self.ip_queue = ip_queue
    def run(self):
        while not self.url_data.empty():
            url = self.url_data.get()
            try:
                response = requests.get(url,headers=headers,timeout=10)
                response.raise_for_status()
                ip_list = re.findall(r'<tr>[\s\S]*?<td>(.*?)</td>',response.text)
                for ip in ip_list:
                    self.ip_queue.put(ip)
                    print(' 生产者%s将ip %s加入队列\n' % (self.getName(), ip))
            except :
                print('连接超时\n')
class Con(threading.Thread):
    def __init__(self,name,ip_queue):
        threading.Thread.__init__(self,name=name)
        self.data = ip_queue
    def run(self):
        global flag
        while flag:
            val = self.data.get()
            print(' 消费者%s将ip %s取出队列\n' % (self.getName(), val))
            lock.acquire()
            with open(path,'a') as f:
                f.write(val+'\n')
            lock.release()
            if self.data.empty():
                flag = False
            time.sleep(random.random())                

这里我就把重要的自定义函数直接打出来，就不再把前后打出来了。
在这之后我的是不再把能用的IP地址保存到文档中，我就检验完的IP直接用，但是我还是出现了问题。我再看看，在学习一下。加油吧！