大家好,我是咿哑呀。今天我教大家学习网络爬虫,这个爬虫能够爬取网页文本内容,提高大家浏览网页的速度。下面我把代码贴出,大家仔细研究:
from urllib import request, parse
from urllib.parse import quote
import string
import chardet
from bs4 import BeautifulSoup
import re
import time
# 创建类
class spider:
# 构造函数 初始化
def __init__(self, my_root_url, title_tag, con_tag, OutputFile):
self.new_urls = set() # 待爬取的url
self.old_urls = set() # 已爬取的url
self.datas = [] # 存放搜集的数据
# 添加一个到url中
self.add_new_url(my_root_url)
count = 1
while self.has_new_url():
try:
new_url = self.get_new_url()
print('%d、爬取 %s' % (count, new_url))
<