python免费自学爬虫_python爬虫学习

近日，学习爬虫基础，自己写了一个小脚本。

目标：每天晚上定时发送第二天的工作项目到QQ邮箱。

目的：头天晚上得到第二天的工作计划，好决定头天晚上是否能喝酒过量、是否能麻将通宵等等等等。。。哈哈！

思路：

1、从停电申请系统，统计出第二日的工作项目。

2、每天晚上定时发送该项目到QQ邮箱。

要解决的主要问题：

1、从停电申请系统获取第二日的数据。

2、定时任务。

3、发送邮件的脚本。

步骤：

1、获取停电事件。

->使用fiddler观察登录的信息，记录请求资源的信息。

->使用requests库，得到登录后的页面资源

2、将获取的数据发送邮件至QQ邮箱

->将该html页面发送邮件到QQ邮箱

3、查看邮件：

4、在邮件里看到返回的信息里，批准的开工日期排序较乱，自己希望得到的是时间从早到晚的工作。

于是查看请求资源信息： "sortFieldName" : "state"。

改为：                       "sortFieldName" : "confirmStartTime"。

发送一次，得到：

5、设置定时任务。

在win系统里。运行“开始” -> “附加” -> “系统工具” -> “任务计划程序” -> “操作” -> “创建基本任务”。

注：办公室的电脑需要登录。注意该项需选上，保持自动运行状态。

回顾：

1、python真是简单。各种库太强大。

2、需要改进的地方。得到停电信息后，下一步用正则获取自己需要的部分，如只要停电时间与停电范围。不用再发送整个html页面。只需发送过滤后的数据。

3、将发送邮件改为发送手机信息(看能不能找到免费发送信息的资源，嘿嘿。。。)

4、努力，奋斗！

=======================================

续：

在前面获得的数据为HTML代码，其实需要的只是部分信息。对实现进行改进：

1、先用的是BeautifulSoup，获取所需。后来发现一个神器 --> pyquery ，相对来说，对jquery熟悉点，而pyquery使用类似的操作模式，获取需要的内容。

2、定时发送可以用windows自带的定时任务，也可以自己写一个定时发送脚本，用time.sleep(second)设定时间就行，比如间隔一天，那就time.sleep(86400)  #60*60*24。

3、在发送给多人时，msg['To'] = ",".join(send_to_list) #此处应为用逗号分隔的字符串，而smtp.sendmail(from,send_to_list,msg)中，发送地址可以直接为列表。