【python】提取一个网站带有参数的url,然后随机选取几个保存到本地+源码分析

该博客介绍了如何使用Python的requests和BeautifulSoup库从网站中提取带参数的URL,特别是asp、php、aspx和jsp链接。通过读取url列表,对每个URL进行HTTP请求,然后筛选出包含'http'的URL,将其存储到不同的列表中。利用random库随机选取部分URL,将其写入到本地文件url.txt中,用于潜在的SQL注入检测。
摘要由CSDN通过智能技术生成

逐行读取url,然后bs4提取a标签内的文字,在建立两个列表,一个append()不停载入url,然后做分析,存在http就先写入本地。然后用random模块,随机选择几个要用的写入~~~


关于random库,基本使用方法如下

import random
list = [1,2,3,4,5,6,7,8,9]
sss = random.sample(list,6)
print sss


源代码如下~

#coding = utf-8
import re
import requests
import time
from bs4 import BeautifulSoup as asp
import random
headeraa = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)',}


hansb = open('urllist.txt','r')   #将url放进urllist.txt
hanssb = hansb.readlines()
hansb.close()
print hanssb
zhzhzh = open('url.txt','a+') #开始写入



<

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

浪子燕青啦啦啦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值