爬取百度贴吧内某吧指定页数的html页面

爬取百度贴吧内某吧指定页数的html页面

首先创建文件夹tieba，代码使用面向对象的思想进行封装，测试爬取的页数为前10页，

代码如下：

import requests
import time
import threading



class TieBa(object):

   def __init__(self):
       self.name=input('请输入贴吧名字:')
       self.start_page=int(input('请输入开始页数:'))
       self.end_page=int(input('请输入结束页数:'))

       self.url='https://tieba.baidu.com/f'
       self.headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"}

   #发送请求
   def send_request(self,tieba_params):
        res=requests.get(self.url,headers=self.headers,params=tieba_params)
        data=res.content
        return data

   #保存数据
   def save_data(self,data,page):
       file_path='tieba/'+ str(page) +'.html'

       print('正在抓取第{}页...'.format(page))

       with open(file_path,'wb') as f:
           f.write(data)

   #运行
   def run(self):
       self.start_time=time.clock()

       for page in range(self.start_page,self.end_page+1):
           tieba_params={
               'kw':self.name,
               'pn':(page-1)*50
           }
           #1.发送请求
           data=self.send_request(tieba_params)

           #2.保存数据
           self.save_data(data,page)

       self.end_time = time.clock()
       self.time=self.end_time-self.start_time
       print('程序执行的时间为:%s s'%self.time)



if __name__ == '__main__':
    tieba=TieBa()

    t1=threading.Thread(target=tieba.run)
    t1.start()

    length = len(threading.enumerate())  # threading.enumerate()可以获取当前运行的线程数
    print("当前运行的线程数为：%d" % length)

运行结果如下：

然后打开pycharm终端，cd tieba 进入该文件夹下，使用xdg-open 1.html打开爬取到的第一页html内容(虚拟机中安装了浏览器)：