笔记:使用.NET做RSS抓取应用程序

搞了有一段时间了,记点笔记。

  1. 频道(Feed)的解析,开始自己写,很多东西搞不定,后使用RSS.NET的类库,很不错,一劳永逸。这里面涉及到了不少的东西:如,各种RSS版本的兼容,最新更新的文章的比对入库等。
  2. 多线程,线程池。以前没有做过类似的东西,费了不少劲,现在还可以接受,但是还有很多需要优化。只要是使用多线程分头去读取各个频道(Feed),并将日志写入LOG文件。使用生产者-消费者的模式。把所有的频道(Feed)放入到一个堆栈中,作为生产者;各个线程都是消费者。
  3. 对抓取的频道(Feed)设置优先级,用优先级决定抓取的频率和次数。(暂时还没有考虑)
  4. 现有问题,如何控制抓取一个频道(Feed)的时候的超时时间?
  5. 程序运行时占用基本上都是CPU100%,内存也进本上吃透了,性能是个问题啊
  6. 总之,现在勉强还可以用,迫切需要优化。

上面是技术笔记,从商业角度来说我对做一个“抓虾”或者bloglines或者博客搜索缺乏信心。同时又知道了自己基础薄弱,学习能力有待加强。人生短暂,不能空有一腔热血,更多的是学习,动手做!

好好学习,天天向上!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值