Python项目四:新闻聚合

原创 2015年07月09日 22:05:02

代码地址:https://code.csdn.net/ranky2009/pythonsmallproject

编码中遇到的问题Note:
1.在编写中发现使用newnews时出现如下错误:
502 NEWNEWS command disabled by administrator
 
由于使用newnews命令出现问题,所以改为使用其他的命令替代。用group 和article命令,见项目代码。
2.使用如下code打印中文会报错误
代码url_test.py:
from urllib.request import urlopen

with urlopen('http://www.baidu.com') as f:
     print(f.read().decode('utf-8'))
错误:
UnicodeEncodeError: 'gbk' codec can't encode character '\ufeff' in position 0: i
llegal multibyte sequence

错误环境是OS:WIN7, version of python:3.4.3,窗口:控制台cmd
后来发现,这个错误是由于在控制台中运行(python url_test.py)代码。
解决方法:
开始->所有程序->启动IDLE (Python 3.4 GUI - 64 bit)->File->New File,将以上代码拷贝到新文件中,F5运行代码,发现能正确读取中文。
注意:对于不同的网页,要看网页源码是怎样编码方式,有的是utf-8,有的是gb2312。
3.关于match
Match必须从正则表达式开始匹配,
import re
m = re.match(‘.end’, ‘1end’)
print(m.group()) #能够匹配到1end

n = re.match(‘.end, ‘12end’)
print(n.group()) #n为None,报错

 

对书上原始代码略做修改,如下:

from nntplib import NNTP
from time import strftime, time, localtime
from email import message_from_string
from urllib.request import urlopen
import textwrap
import re

def wrap(string, max = 70):
    return '\n'.join(textwrap.wrap(string)) + '\n'
    
class NewsAgent:
    def __init__(self):
        self.sources = []
        self.destinations = []
        
    def addSource(self, source):
        self.sources.append(source)
        
    def addDestination(self, dest):
        self.destinations.append(dest)
        
    def distribute(self):
        items = []
        for source in self.sources:
            items.extend(source.getItems())
            
        for dest in self.destinations:
            dest.receiveItems(items)
        
            
class NewsItem:
    def __init__(self, title, body):
        self.title = title
        self.body = body

class NNTPSource:
    def __init__(self, servername, group, window):
        self.servername = servername
        self.group = group
        self.window = window
        
    def getItems(self):
        server = NNTP(self.servername)
        groupInfo = server.group(self.group)
        for num in range(5):
            id = str(int(groupInfo[2]) + num)
            articleinfo = server.article(id)[1]
            articleinfoStrings = []
            for line in articleinfo.lines:
                articleinfoStrings.append(line.decode())
            message = message_from_string('\n'.join(articleinfoStrings))
            
            title = message['subject']
            body = message.get_payload()
            
            if message.is_multipart():
                body = body[0]
                
            yield NewsItem(title, body)
            
        server.quit()
        
class SimpleWebSource:
    def __init__(self, url, titlePattern, bodyPattern):
        self.url = url
        self.titlePattern = re.compile(titlePattern)
        self.bodyPattern = re.compile(bodyPattern)
        
    def getItems(self):
        text = urlopen(self.url).read()
        textString = text.decode('utf-8')
        title = self.titlePattern.findall(textString)
        print(title)
        body = self.bodyPattern.findall(textString)
        #print(body[0])
        for line in body:
            if len(line) > 30 :
                yield NewsItem(title[0], wrap(line))
                break
class PlainDestination:
    def receiveItems(self, items):
        for item in items:
            print(item.title)
            print('-' * len(item.title))
            print(item.body)
            
class HTMLDestination:
    def __init__(self, filename):
        self.filename = filename
        
    def receiveItems(self, items):
        out = open(self.filename, 'w', encoding='utf-8')
        print("""
        <html>
            <head>
            <meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>
                <title>Today's New</title>
            </head>
            <body>
            <h1>Today's News</h1>
        """, file = out)
        
        print('<ul>', file = out)
        id = 0
        for item in items:
            id += 1
            print('<li><a href="#%i">%s</a></li>' % (id, item.title), file = out)
        print('</ul', file = out)
        
        id = 0
        for item in items:
            id += 1
            print('<h2><a name="%i">%s</a></h2>' % (id, item.title), file = out)
            print('<pre>%s</pre>' % item.body, file = out)
            
        print("""
            </body>
        </html>
        """, file = out)
        
def runDefaultSetup():
    agent = NewsAgent()
        
    bbc_url = 'http://m.cnr.cn/news/20150706/t20150706_519082828_tt.html?tt_group_id=4658836325'
    bbc_title = '<title>(.+?)</title>'
    bbc_body = '<p.*>(.+?)</p>'
    bbc = SimpleWebSource(bbc_url, bbc_title, bbc_body)
    
    agent.addSource(bbc)

    clpa_server = 'nntpswitch.blueworldhosting.com'
    clpa_group = 'comp.lang.python.announce'
    clpa_window = 1
    clpa = NNTPSource(clpa_server, clpa_group, clpa_window)
        
    agent.addSource(clpa)
        
    agent.addDestination(PlainDestination())
    agent.addDestination(HTMLDestination('news.html'))
        
    agent.distribute()
        
if __name__ == '__main__' : runDefaultSetup()

相关文章推荐

python实现凤凰新闻监控

由于任务需求,要关注凤凰新闻网相关报道,要做到出现相关报道报警来通知我,时间紧凑,本人水平也有限,写的比较简单,请见谅。如有人实现过类似功能,也请多多指教。下面直接贴代码了。 #_*_ coding...

python 基础教程 23章NNTP 3

#/usr/bin/env python #*-*coding:utf-8 *-* # python 基础教程23章NNTP 23-2 更灵活的新闻收集代理程序 #python2.7 运...

《Python基础教程》 笔记

Python具有丰富和强大的库 ** 幂运算符 2**3 pow(2, 3) abs(-10) 绝对值 round(1.0 / 2.0) 四舍五入到整数 import math 导入math模块 m...

python获取新浪新闻

1、获取新浪新闻的标题以及要闻,保存到txt中(目录以及文件名可以自定义);2、新闻包括国内新闻、国际新闻、社会新闻(依据提示选择);3、运行环境,python2.7、win8.1(64位)、IDE(...

python项目练习四:新闻聚合

书中的第四个练习,新闻聚合。现在很少见的一类应用,至少我从来没有用过,又叫做Usenet。这个程序的主要功能是用来从指定的来源(这里是Usenet新闻组)收集信息,然后讲这些信息保存到指定的目的文件中...

聚合数据API爬虫:Python

from db import run_sql from config import start_urls import urllib2 from bs4 import BeautifulSoup im...

基于朴素贝叶斯的关于互联网金融新闻分类(python实现)

中国互联网金融发展迅速,2014年是中国互联网金融起步的一年,但在短短的一年时间内,互联网金融创业者们融资额度一再创高,雨后春笋般涌现出各类互联网金融产品让用户眼花缭乱,随着创业门槛的降低,在即将到来...

Python开发简单爬虫--学习笔记

本文内容来自于慕课网《Python开发简单爬虫》,感兴趣的同学可以去看视频。http://www.imooc.com/learn/563 一个简单的爬虫主要分为 调度器、URL管理器、网页下载器、网...

项目4:新闻聚合-Python基础教程

代码为:#!/usr/bin/env python # -*- coding: utf-8 -*-from nntplib import NNTP from time import time , s...

python项目练习四:新闻聚合

书中的第四个练习,新闻聚合。现在很少见的一类应用,至少我从来没有用过,又叫做Usenet。这个程序的主要功能是用来从指定的来源(这里是Usenet新闻组)收集信息,然后讲这些信息保存到指定的目的文件中...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Python项目四:新闻聚合
举报原因:
原因补充:

(最多只允许输入30个字)