一个特殊的"HelloWorld"

最新推荐文章于 2024-08-05 15:49:48 发布

流年匆匆丶

最新推荐文章于 2024-08-05 15:49:48 发布

阅读量618

点赞数 5

文章标签： python 爬虫 helloworld 数据库大数据

本文链接：https://blog.csdn.net/qq_44107838/article/details/103118399

版权

一个特殊的HelloWorld

为什么说是特殊的helloworld呢
给全世界的服务器发送一个请求,这就是我"打招呼"的方式
核心内容就是:向所有的ipv4地址发送一个请求
即x.x.x.x,如果其是web服务,就拿到其title标签里的内容,
然后看看这个IP(或者说网站)是做什么的,
你问我这么做的意义是什么?
文章结尾我再谈谈做这件事情的意义.

接下来谈谈过滤条件

IPV4地址有非常多个,从0.0.0.0~255.255.255.255,共有4,294,967,296个
将近43亿个,当然,这里面的IP大部分是无效的,无法访问的,
我将不会处理包含以下任意条件的IP地址,因为无意义
1.五秒内没有响应的
2.状态码不是200的
3.状态码是200,但没有title标签的.
4.其它无法访问的异常.
即使加了这些条件,要走完这43亿服务器,也必然是一个漫长的过程,
好在是机器帮我来做这件事情,我只要开着程序,过一段时间看看就好.

理一理思路

要想实现这个看似简单的需求,其实也并不是那么容易的

.要有一个IP生成器.按顺序生成0.0.0.0到255.255.255.255的IP字符串
生成出来的IP还不能保存,即生即用,不然分分钟爆内存啦.

要有计数器,统计一共请求过多少IP,失败过多少次?成功过多少次?失败原因等等

要开启多线程,不能单线程去请求,不然这辈子都别想把这个程序跑完.

要考虑到程序因为意外原因被关掉以后,不要又从头开始,
例如第一个请求是0.0.0.0,第二个是0.0.0.1,当你请求到数千万时,中断了,不能又从0.0.0.0开始.

开始撸代码

首先,关于IP生成器的想法,我的想法是映射
即0.0.0.0映射为0,代表着它是第0个IP地址
0.0.0.1映射为1,代表着它是第1个IP地址
0.0.1.0映射为256,代表第256个IP地址,
妥妥的256进制嘛,
假如我传入一个0~4294967295之间的整数,
是不是意味着这里面的每一个整数都可以映射为一个IP地址呢,
下面我用python来实现这个函数,

    def ipv4(n):
        
        if n >= 16777216:
            ip_1 = int(n/16777216)
            ip_1s = n%16777216
            ip_2 = int(ip_1s/65536)
            ip_2s = ip_1s%65536
            ip_3 = int(ip_2s/256)
            ip_3s = ip_2s%256
            ip_4 = ip_3s
            # print(ip_1,ip_2,ip_3,ip_4,sep=".")
            return "{}.{}.{}.{}".format(ip_1,ip_2,ip_3,ip_4)
        elif n<16777216 and n>=65536:
            ip_1 = 0
            ip_2 = int(n/65536)
            ip_2s = n%65536
            ip_3 = int(ip_2s/256)
            ip_3s = ip_2s%256
            ip_4 = ip_3s
            # print(ip_1,ip_2,ip_3,ip_4,sep=".")
            return "{}.{}.{}.{}".format(ip_1,ip_2,ip_3,ip_4)
        elif n<65536 and n>=256:
            ip_1 = 0
            ip_2 = 0
            ip_3 = int(n/256)
            ip_3s = n%256
            ip_4 = ip_3s
            # print(ip_1,ip_2,ip_3,ip_4,sep=".")
            return "{}.{}.{}.{}".format(ip_1,ip_2,ip_3,ip_4)
        else:
            # print("0.0.0.{}".format(n)) 
            return "0.0.0.{}".format(n)

随便输个数字测一下

>>>ipv4(2888889999)
172.48.246.143
>>>ipv4(256)
0.0.1.0

接下来,准备一个巨大的整数(42,9496,7295)
它代表着255.255.255.255.
没错,只是一个网关地址,它肯定无法被请求,但我还是决定从它开始,
每发送一个请求,这个数字就减去一,来个死循环

流程总体来说就是这样的:
1.取到count,这个值(42,9496,7295)当计数器
2.把这个值解析为IP.(255.255.255.255),
3.向这个IP地址发送请求
4.count-=1
循环以上操作.
第1次执行的时候,请求地址是255.255.255.255
第2次:255.255.255.254
第3次:255.255.255.253
第4次:255.255.255.252
…

下面是具体请求的代码
节选自Class的代码
代码写得比较糙,因为这只是个小demo,写着玩,敬请谅解,
取到的数据直接保存成txt了,后面有空再优化.

    def getdata(self,ip):
        
        try:
            r = requests.get(url=ip, headers=self.headers ,timeout=self.timeout)
            r_code = r.status_code
            r_text = r.content.decode("utf8")
            title = re.findall("<title>(.*?)</title>", r_text)

            if r_code!=200: 
                self.bad_status_count+=1
                return
            if len(title)==0:
                self.not_title_count+=1
                return
            if title[0]=="":
                self.not_title_count+=1
                return
            c_ip = ip.replace("http://","")

            with open("f://hello_world/"+c_ip+title[0]+".txt","w",encoding="utf8")as f:
                pass

        except:
            self.time_out_count+=1
            return

全部代码:

我开了1000个线程.
没有做线程锁之类的东西,测试了一下不影响,就没做了
数据以光有名字没内容的txt文件存在f盘hello world文件夹里,
如果有copy代码运行的,可以自己改路径
比较糙,有空再优化

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: kcc time:2019/11/16

import requests,re,random,threading,time,os

class SpiderWorld():

    def __init__(self):

        self.headers = {
            "User-Agent":"User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36"
            ,"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3"
        }

        self.timeout = 5

        self.ip_count = 4294967295
        #2642648575
        #4294967295
        self.time_out_count = 0

        self.bad_status_count = 0 

        self.not_title_count = 0 

    def getdata(self,ip):
        #发送请求
        try:
            r = requests.get(url=ip, headers=self.headers ,timeout=self.timeout)
            r_code = r.status_code
            r_text = r.content.decode("utf8")
            title = re.findall("<title>(.*?)</title>", r_text)

            if r_code!=200: 
                self.bad_status_count+=1
                return
            if len(title)==0:
                self.not_title_count+=1
                return
            if title[0]=="":
                self.not_title_count+=1
                return
            c_ip = ip.replace("http://","")

            with open("f://hello_world/"+c_ip+title[0]+".txt","w",encoding="utf8")as f:
                pass

        except:
            self.time_out_count+=1
            return

    def ipv4(self,n):
        #把n解析为IP地址字符串
        if n >= 16777216:
            ip_1 = int(n/16777216)
            ip_1s = n%16777216
            ip_2 = int(ip_1s/65536)
            ip_2s = ip_1s%65536
            ip_3 = int(ip_2s/256)
            ip_3s = ip_2s%256
            ip_4 = ip_3s
            # print(ip_1,ip_2,ip_3,ip_4,sep=".")
            return "{}.{}.{}.{}".format(ip_1,ip_2,ip_3,ip_4)
        elif n<16777216 and n>=65536:
            ip_1 = 0
            ip_2 = int(n/65536)
            ip_2s = n%65536
            ip_3 = int(ip_2s/256)
            ip_3s = ip_2s%256
            ip_4 = ip_3s
            # print(ip_1,ip_2,ip_3,ip_4,sep=".")
            return "{}.{}.{}.{}".format(ip_1,ip_2,ip_3,ip_4)
        elif n<65536 and n>=256:
            ip_1 = 0
            ip_2 = 0
            ip_3 = int(n/256)
            ip_3s = n%256
            ip_4 = ip_3s
            # print(ip_1,ip_2,ip_3,ip_4,sep=".")
            return "{}.{}.{}.{}".format(ip_1,ip_2,ip_3,ip_4)
        else:
            # print("0.0.0.{}".format(n)) 
            return "0.0.0.{}".format(n)

    def main(self):
    	#主函数循环
        while True:
            
            req_ip = "http://"+self.ipv4(self.ip_count)
            self.ip_count-=1
            self.getdata(req_ip)
            
            if self.ip_count<100:return

    def state(self):
    	#每隔十秒输出一下日志
        while True:
            with open("a.txt","w",encoding="utf8")as f:
                f.write("当前轮询IP地址{}".format(self.ipv4(self.ip_count))+"\n")
                f.write("当前剩余IP地址数{}".format(self.ip_count)+"\n")
                f.write("超时数量{}".format(self.time_out_count)+"\n")
                f.write("错误状态码数{}".format(self.bad_status_count)+"\n")
                f.write("无效标题数{}".format(self.not_title_count)+"\n")

            time.sleep(10)
            

if __name__ == "__main__":
	#开启程序1000线程
    a = SpiderWorld()
    for i in range(1000):
        t = threading.Thread(target=a.main)
        t.start()
        
	#开启一个输出日志的线程
    a = threading.Thread(target=a.state)
    a.start()

日志也写得比较糙…
由于序号在40多亿的没什么有效的IP,我把count设为20多亿再运行,
让我们来看看成果:
这是请求回来的IP地址与对应的title
可见大部分IP都只是简单开启了个服务.
简单日志:

下面该说说这样做有什么意义了
建立一个庞大的数据库,
两个属性, IP地址和title标题
假如你想要某些功能的网站
在数据库里搜关键字,
是不是就有无数的网站等着你检索了呢
比如说搜个"猫",返回给你IP,基本上是和猫有关,
比如说"图片",或者"素材",返回给你大量的,图片和素材相关的网站(ip地址)

免责声明:

本贴仅仅以交流技术和创新思路为主要目的

以上搜索到的网站,可能会包含许多不安全,不和谐的内容,
不论您通过这个方式看到了什么网站,造成了什么损失,
都是您个人的行为,与本发帖者无关.

流年匆匆丶

关注

5
点赞
踩
3

收藏

觉得还不错? 一键收藏
3
评论
一个特殊的"HelloWorld"

一个特殊的HelloWorld为什么说是特殊的helloworld呢给全世界的服务器发送一个请求,这就是我"打招呼"的方式核心内容就是:向所有的ipv4地址发送一个请求即x.x.x.x,如果其是web服务,就拿到其title标签里的内容,然后看看这个IP(或者说网站)是做什么的,你问我这么做的意义是什么?文章结尾我再谈谈做这件事情的意义.接下来谈谈过滤条件IPV4地址有非常多个,...
复制链接

扫一扫