scrapy抓取知乎话题v0.2(实现qq发送邮件功能)

原创 2015年07月07日 21:28:43

源码下载地址:http://download.csdn.net/detail/wxq714586001/8878103

一共由两个scrapy工程实现。

第一个工程zhihu_topic:实现抓取关注人数超过2000的知乎话题、相应链接、父子话题并存入MySQL数据库。这个工程只要执行一次,第二个工程会利用这里获取到的链接(link_id)。

usage:

    scrapy crawl topic

下面是从数据库中获取一部分话题的截图



第二个工程zhihu:

先贴出配置文件


topic表示抓取的话题,确保和数据库中保存的名字一致。

pages表示抓取的页数的位数,例如1表示抓取(1~9)页,2表示抓取(1-99)页。

zan_th表示赞数的最低阈值,超过这个阈值的回答才会被抓取下来。

day表示发送邮件时,最近300天内的回答才会被发送。

zan表示发送邮件时,超过100个赞的回答才会被发送。

receiver表示接受者的qq邮箱。


usage:

scrapy crawl zhihu


效果图



注意:

     在抓取完成后会立即自动发送邮件。

相关文章推荐

使用scrapy的mail模块发送邮件

相应官网链接:链接 由官网提供的方法可以发现有两种形式可以发送邮件, 其一:配置settings,使用 mailer = MailSender.from_settings(settings)的方法读取...

scrapy ☞ 发送邮件配置

使用scrapy内置邮箱插件发送爬虫执行情况邮件
  • Team77
  • Team77
  • 2016年03月08日 15:29
  • 1536

使用scrapy的mail模块发送邮件

相应官网链接:链接 由官网提供的方法可以发现有两种形式可以发送邮件, 其一:配置settings,使用 mailer = MailSender.from_settings(settings)的方法读取...

scrapy爬取豆瓣电影

这两天学习了下scrapy,并试着用它爬取了大家都扎堆爬的豆瓣排名前250的电影,中间提升了自己对scrapy的认识,并踩了一些坑总结一下。(以下内容基于Python3.5;scrapy1.3.3下)...

scrapy抓取知乎话题回答

  • 2015年07月07日 21:26
  • 164KB
  • 下载

java实现qq邮箱每天定时发送邮件

本周四的时候去学校的某机构值班,主要工作是帮老师送文件,干一些杂活。那天没有什么活儿,于是想起用Java实现发送邮件和接收邮件的功能。前几天接触过一点quartz框架,用来实现定时开始任务的功能。于是...

php实现发送邮件功能,phpmailer

  • 2013年10月25日 13:54
  • 27KB
  • 下载

jsp中实现发送邮件功能

  • 2007年10月03日 14:23
  • 370KB
  • 下载

javamail实现腾讯邮箱(企业邮箱,qq邮箱)发送邮件(多收件人多附件)

Maven 依赖 1.4.5 1.4.1 jav
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:scrapy抓取知乎话题v0.2(实现qq发送邮件功能)
举报原因:
原因补充:

(最多只允许输入30个字)