试验python爬取逐浪小说

只是想试下用python爬网页,之前用米花,后来米花不知道怎么回事打不开了,就用的逐浪。


#coding:utf-8

import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )

import urllib,sys,urllib2,os
from bs4 import BeautifulSoup

IMAGE_DIR = '/home/cloud/temp/' #存放目录
if not os.path.exists(IMAGE_DIR):
    os.mkdir(IMAGE_DIR)


def get_book_without_db(url):
    """一边爬取一边写入,不用数据库保存"""
    soup = BeautifulSoup(request(url))
    title = (soup.find_all("title"))[0].string.split('_')[0] #文章名

    book_path = os.path.join(IMAGE_DIR, title)
    book = open(book_path, 'a+')
    i = 1
    for volume in soup.find_all('h2'):
        i += 1
        volume_name = volume.text
        print type(volume_name)
        book.write(str(volume_name) + '\n\n\n')
        for chapter in soup.find_all('ul')[i].find_all("li"):
            chapter_name = chapter.find('a').text
            book.write(str(chapter_name) + '\n')

            chapter_url = chapter.find('a').get('href')
            content_soup = BeautifulSoup(request(chapter_url))
            content = content_soup.find_all("p")[0].contents[0]
            book.write(str(content) + '\n\n')
    book.close()
    print '书籍路径: ', book_path


get_book_without_db('testurl')


其中,testurl是小说目录。

因为是自学的,代码中获取内容有些还是debug时看内存才写的,所以可能不规范。

另外,我爬取的文章内容是一段字符串,没有自动换行。百度没有查到,哪位知道的可否告知一下,文章内容该怎么自动换行?


注释:后来发现有个也是爬取逐浪的:http://www.oschina.net/code/snippet_1788589_48365

巧合啊,我是在优书网随便选的一个网站。不过此文好像也没有自动换行

阅读更多
文章标签: python 爬虫
个人分类: python学习
上一篇django中执行py报错Requested setting DEFAULT_INDEX_TABLESPACE, but settings are not configured
下一篇Python中的类方法和静态
想对作者说点什么? 我来说一句

Python爬取小说网站的小说

2017年11月30日 9KB 下载

没有更多推荐了,返回首页

关闭
关闭