爬虫beautifulsoup保留原文本页面格式

爬取某网站过程中,爬取的结果没有保留原文本页面格式,爬下来的内容都变成了一行 ……

原网站页面:

html页面如下:

                     

爬出来的结果全部连在一起,成了一段,部分内容如下:

二、民间借贷的分类民间借贷包括借和贷两个部分。传统的民间借贷以“借”为主,多以亲情、友情为纽带,主要表现为个人之间;而随着改革开放和市场经济的发展,企业与企业之间或企业与个人之间按照一定的利益标准和条件私下进行资金余缺调剂,民间借贷更多的形式为“贷”。“借”款时往往出于感情,没有任何手续;而“贷”游离于正规金融机构和政府部门监管之外,使民间借贷具有隐蔽性、分散性、情感性、复杂性等特点,催生了民间借贷案件的发生。(一)自然人之间的借贷。……

这样肯定是不行的,不然爬取下来后续还得接着处理。

代码如下:

"""

"""
import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
import socket
import re
requests.packages.urllib3.disable_warnings()
# f=open("write.txt","w",encoding="utf-8")
socket.setdefaulttimeout(20)
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'
}
news_titles = []
news_content = []
def load_page(page):
    url = 'URL'  
    print(url)
    res = requests.get(url, headers=headers,verify=False)
    soup = BeautifulSoup(res.content, 'lxml')
    # 找出class属性值为cbox01的div
    news_list = soup.find('div', {'class': 'p_mbc'})
    # 找出cbox01下的所有li标签
    news = news_list.find_all('div',{'class': 'p_mbc_hi'})
    news_website = []
    for i in news:
        try:
            # 提取网址
            href = i.find_all('a')
            for item in href:
                website = item.get('href')
                news_website.append(website)
        except AttributeError as e:
            continue
        # time.sleep(1)  # 自定义
    for i in news_website:
        res1 = requests.get(i, headers=headers,verify=False)
        soup1 = BeautifulSoup(res1.content, 'lxml')
        try:
            news_list1 = soup1.find('div', {'class': 'p_mv'})
            title = news_list1.find('div', {'class': 'p_mvt'}).get_text().strip()
            print(title)
            content = news_list1.find('div', {'class': 'p_mvc'}).find_all('p')
            result = ''
            for tr in content:
                text = tr.get_text()
                result += text+'\n'
            # print(result)
            news_titles.append(title)
            news_content.append(result)

        except AttributeError as e:
            continue
if __name__ == '__main__':
        for i in range(1,50):
            # foo = [3, 6, 4, 5, 1, 2]
            # time.sleep(choice(foo))
            load_page(i)
        data = pd.DataFrame({'标题': news_titles, '内容': news_content})
        data.to_csv("write.csv", index=False, sep=',')

 

  • 1
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Steven灬

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值