python多线程爬虫,

#这个爬虫的作用就是你先在网页上面搜索一个东西,然后你把上面的网址给复制一下,然后他把这个网址里面所有的子链接标题和链接同时给你爬取出来,在整理我专门用了一个多线程,但是1又用了一个time模块,就是为了防止新手被封号了,至于这个怎么解除,我想不用多说了,目的就是为了避免小白就是好奇非要用,这个只是助你早日拜托小白,并且给你一个思路

from bs4 import BeautifulSoup
import requests,time
from urllib.request import urlopen
from threading import Thread
#每次就只用把你的网址复制在下面就可以了,更加强大的爬虫我的文章里面你可以找找看
url='https://www.so.com/s?ie=utf-8&src=hao_360so_history_cube&shb=1&hsid=bfc1dcecaafd70f5&q=keil%E5%AE%89%E8%A3%85%E6%95%99%E7%A8%8B'
html=requests.get(url)
html.encoding='utf-8'
sp=BeautifulSoup(html.text,"html.parser")
links=sp.find_all(["a","b"])
k=[]
for i in links:
    href=i.get("href")
    if href !=None and href.startswith("https://"):
        k.append(href)
for i in k:
    time.sleep(1)
    def lianjie():
        html = urlopen(str(i))
        bs = BeautifulSoup(html, 'html.parser')  # 解析网页
        hyperlink = bs.find_all('title')
        if hyperlink != []:
            # print(hyperlink)
            print(hyperlink[0].text, ":", i)
    t = Thread(target=lianjie(), args=(i,))
    t.start()

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值