爬取某网站过程中,爬取的结果没有保留原文本页面格式,爬下来的内容都变成了一行 ……
原网站页面:
html页面如下:
爬出来的结果全部连在一起,成了一段,部分内容如下:
二、民间借贷的分类民间借贷包括借和贷两个部分。传统的民间借贷以“借”为主,多以亲情、友情为纽带,主要表现为个人之间;而随着改革开放和市场经济的发展,企业与企业之间或企业与个人之间按照一定的利益标准和条件私下进行资金余缺调剂,民间借贷更多的形式为“贷”。“借”款时往往出于感情,没有任何手续;而“贷”游离于正规金融机构和政府部门监管之外,使民间借贷具有隐蔽性、分散性、情感性、复杂性等特点,催生了民间借贷案件的发生。(一)自然人之间的借贷。……
这样肯定是不行的,不然爬取下来后续还得接着处理。
代码如下:
"""
"""
import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
import socket
import re
requests.packages.urllib3.disable_warnings()
# f=open("write.txt","w",encoding="utf-8")
socket.setdefaulttimeout(20)
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
}
news_titles = []
news_content = []
def load_page(page):
url = 'URL'
print(url)
res = requests.get(url, headers=headers,verify=False)
soup = BeautifulSoup(res.content, 'lxml')
# 找出class属性值为cbox01的div
news_list = soup.find('div', {'class': 'p_mbc'})
# 找出cbox01下的所有li标签
news = news_list.find_all('div',{'class': 'p_mbc_hi'})
news_website = []
for i in news:
try:
# 提取网址
href = i.find_all('a')
for item in href:
website = item.get('href')
news_website.append(website)
except AttributeError as e:
continue
# time.sleep(1) # 自定义
for i in news_website:
res1 = requests.get(i, headers=headers,verify=False)
soup1 = BeautifulSoup(res1.content, 'lxml')
try:
news_list1 = soup1.find('div', {'class': 'p_mv'})
title = news_list1.find('div', {'class': 'p_mvt'}).get_text().strip()
print(title)
content = news_list1.find('div', {'class': 'p_mvc'}).find_all('p')
result = ''
for tr in content:
text = tr.get_text()
result += text+'\n'
# print(result)
news_titles.append(title)
news_content.append(result)
except AttributeError as e:
continue
if __name__ == '__main__':
for i in range(1,50):
# foo = [3, 6, 4, 5, 1, 2]
# time.sleep(choice(foo))
load_page(i)
data = pd.DataFrame({'标题': news_titles, '内容': news_content})
data.to_csv("write.csv", index=False, sep=',')