python爬虫:从百度贴吧中爬数据
使用的python包
1 from bs4 import Beautifuls
一个十分好用的网页提取的工具包
2 import requests
用于发送各种html请求
3 import re
用编写各种正则语句
分析网页结构
我们所抓取的是百度贴吧的帖子,https://tieba.baidu.com/p/5227503742?see_lz=1&pn=1为书荒吧的一个帖子,其前面部分http://tieba.baidu.com/p/3138733512为网页地址,数字为帖子的标识符。问号?后的为参数,经斜体文本过测试可以猜测出see_lz为是否只看楼主,pn为页数
打开网页,F12后可以看到网页的结构,具体的是要找到我们想要部分的结构,如下:
使用requests获得页面
使用requests发送get请求,得到网页:
def get_page(self,page_num):
url = self.base_url+'?see_lz=%s&pn=%s'%(self.see_lz,page_num)
try:
page = requests.get(url).text
return page
except requests.RequestException as e:
if hasattr(e,'reason'):
print('无法连接:%s'%e)
return None
得到网页中想要的内容
通过分析网页结构,定位到想要的块,使用beautifulsoup的find,findAll方法匹配快的名称,class,id等信息,具体的使用可以查看beautifulsoup文档
def get_info(self):
page = self.get_page(1)
soup = BeautifulSoup(page,'lxml')
self.page_num = soup.find('li',class_='l_reply_num').findAll('span')[1].string
self.page_num = int(self.page_num)
self.title = soup.find('h3',class_=re.compile('core_title_txt.*?')).string
定义一个过滤网页不需要信息的类
通过各种正则语句来定位信息,然后对定位的数据进行处理。使用re.compile()
生成正则表达式,使用re.sub()
函数对正则表达式匹配到的字符串进行替换。更多的正则使用方法见正则表达式语法
class Filter:
##去除图片
remove_img = re.compile('<br/><img.*?>')
##去除超链接
remove_link = re.compile('<a.*?>|</a>')
##将制表符td换成\n
replace_td = re.compile('<td>')
##将换行符br换成\n
replace_br = re.compile('<br/>')
##将其他标签替换为空
remove_tag = re.compile('<.*?>')
def filter(self,x):
x = re.sub(self.remove_img,'',x)
x = re.sub(self.remove_link,'',x)
x = re.sub(self.replace_td,'\n',x)
x = re.sub(self.replace_br,'\n',x)
x = re.sub(self.remove_tag,'',x)
return x.strip()
最终的python代码如下
#coding=utf-8
from bs4 import BeautifulSoup
import requests
import re
class Filter:
##去除图片
remove_img = re.compile('<br/><img.*?>')
##去除超链接
remove_link = re.compile('<a.*?>|</a>')
##将制表符td换成\n
replace_td = re.compile('<td>')
##将换行符br换成\n
replace_br = re.compile('<br/>')
##将其他标签替换为空
remove_tag = re.compile('<.*?>')
def filter(self,x):
x = re.sub(self.remove_img,'',x)
x = re.sub(self.remove_link,'',x)
x = re.sub(self.replace_td,'\n',x)
x = re.sub(self.replace_br,'\n',x)
x = re.sub(self.remove_tag,'',x)
return x.strip()
class Spider:
def __init__(self,base_url,see_lz,txt_path):
self.base_url = base_url
self.see_lz = see_lz
self.page_num = 0
self.title = ''
self.m_filter = Filter()
self.txt_path = txt_path
self.floor = 0
def get_page(self,page_num):
url = self.base_url+'?see_lz=%s&pn=%s'%(self.see_lz,page_num)
try:
page = requests.get(url).text
return page
except requests.RequestException as e:
if hasattr(e,'reason'):
print('无法连接:%s'%e)
return None
def get_info(self):
page = self.get_page(1)
soup = BeautifulSoup(page,'lxml')
self.page_num = soup.find('li',class_='l_reply_num').findAll('span')[1].string
self.page_num = int(self.page_num)
self.title = soup.find('h3',class_=re.compile('core_title_txt.*?')).string
def get_content(self):
self.get_info()
print('开始写文件(总共%s页):'%self.page_num)
file = open(self.txt_path,'w',encoding='utf-8')
file.write('----------------<< %s >>-------------\n\n\n'%(self.title))
for i in range(self.page_num):
print('第%s页内容写入。。。'%(i+1))
page = self.get_page(i+1)
soup = BeautifulSoup(page,'lxml')
contents = soup.find('div',class_='p_postlist').contents
for content in contents:
stance= content.find('div',id=re.compile('post_content_.*?'))
if not(stance):
continue
self.floor += 1
seg = '------------------------------------------ 第%s楼 ----------------------------------\n'%(self.floor)
file.write(seg)
file.write(self.m_filter.filter(str(stance))+'\n\n')
print('写入完成!')
if __name__=='__main__':
base_url = 'https://tieba.baidu.com/p/5219956465'
see_lz = 1
txt_path = 'C:/Users/wgy/Desktop/bdtb.txt'
m_spider = Spider(base_url,see_lz,txt_path)
m_spider.get_content()