学习文档 python爬虫+发送邮件

request

1. Request库的get（）方法：

最通常的方法是通过r=request.get（url）构造一个向服务器请求资源的url对象。

这个对象是Request库内部生成的。

这时候的r返回的是一个包含服务器资源的Response对象。包含从服务器返回的所有的相关资源。

response对象常用的属性：

r.status_code：响应的状态码。200表示成功，403表示4表示资源不可用。服务器理解客户的请求，但拒绝处理它

r.text：url对应页面的内容

email.mime

MIMEMultipart()

mixed：邮件中含有附件

alternative：存在纯文本与超文本，并同时含有副本

related：存在内嵌资源，如背景的图像等

MIMEText

发送的文本内容，文本格式，文本编码

part = MIMEText(content, 'plain', 'utf-8')

login()方法用来登录SMTP服务器，sendmail()方法就是发邮件，由于可以一次发给多个人，所以传入一个list，

邮件正文是一个str，as_string()把MIMEText对象变成str。

def send_email(title, content):

    #发送者邮箱
    sender = ''
    #发送者的登陆用户名和密码
    user = ''
    password = ''
    #发送者邮箱的SMTP服务器地址
    smtpserver = ''
    #接收者的邮箱地址
    receiver = '' #receiver 可以是一个list


    msg = MIMEMultipart('alternative')  

    part1 = MIMEText(content, 'plain', 'utf-8')

    msg.attach(part1)  
    #msg.attach(part2)

    #发送邮箱地址
    msg['From'] = sender
    #收件箱地址
    msg['To'] = receiver
    #主题
    msg['Subject'] = title

    smtp = smtplib.SMTP() #实例化SMTP对象
    smtp.connect(smtpserver, 25) #（缺省）默认端口是25 也可以根据服务器进行设定
    smtp.login(user, password) #登陆smtp服务器
    smtp.sendmail(sender, receiver, msg.as_string()) #发送邮件 ，这里有三个参数
    '''
    login()方法用来登录SMTP服务器，sendmail()方法就是发邮件，由于可以一次发给多个人，所以传入一个list，邮件正文
    是一个str，as_string()把MIMEText对象变成str。
    '''
    smtp.quit()

Beautiful soup

soup.dl

加上dl、dd、dt标签

dl：创建一个普通的列表

dt：用来创建列表中的上层项目

dd：创建下层项目

dt和dd必须放在dl之间

soup.find()：返回找到的第一个标签

soup.find_all()：以list返回找到的所有标签，后面加上title，id，class进行提取

enumerate的用法

enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据和数据下标，一般用在 for 循环当中。

enumerate(sequence, [start=0])

sequence – 一个序列、迭代器或其他支持迭代对象。

start – 下标起始位置的值。

zip的用法

zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。

如果各个迭代器的元素个数不一致，则返回列表长度与最短的对象相同

pandas

df = pd.DataFrame(d)

df1 = df[df['description']].str

pandas特定的列经过str之后，就可以使用各种python常用的字符处理方法了。

str.contains()

筛选出含有特定字符串的行：contains() 方法

df['description'].str.contains('a')

筛选description列中含有a的字符串

|表示多个条件的筛选