网络爬虫 学习日志（三）

3.1 安装selenium并学习

1. 安装selenium并学习。

2. 使用selenium模拟登陆163邮箱。

3. 163邮箱直通点：https://mail.163.com/ 。

4. 参考资料：https://blog.csdn.net/weixin_42937385/article/details/88150379

3.2 学习IP相关知识

1. 学习什么是IP，为什么会出现IP被封，如何应对IP被封的问题。

2. 抓取西刺代理，并构建自己的代理池。

3. 西刺直通点：https://www.xicidaili.com/ 。

4. 参考资料：https://blog.csdn.net/weixin_43720396/article/details/88218204

task1：

import time 
from selenium import webdriver

browser= webdriver.Chrome()
url='http://mail.163.com/'
browser.get(url)
time.sleep(3)
browser.maximize_window()
time.sleep(5)
browser.switch_to.frame(0)
email=browser.find_element_by_name('email')
email.send_keys('be*******ds@163.com')
password=browser.find_element_by_name('password')
password.send_keys('w*****8')
login_em=browser.find_element_by_id('dologin')
login_em.click()
time.sleep(10)

task2：

import requests
from bs4 import BeautifulSoup as bs
import time
import re 
import json
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1;Win64;x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
r= requests.get('https://www.xicidaili.com/', headers = headers)
print(r.status_code)
ip_list=[]
html=r.text
soup=bs(html,'lxml')
ips=soup.find(id='ip_list').find_all('tr')
for proxy_ip in ips:
    if len(proxy_ip.select('td'))>=8:
        ip=proxy_ip.select('td')[1].text
        port=proxy_ip.select('td')[3].text
        protocol=proxy_ip.select('td')[5].text
        if protocol in ('HTTP','HTTPS','http','https'):
            ip_list.append(f'{protocol}://{ip}:{port}')
ip_filename='ip.text'
with open(ip_filename,'w')as f:
    f.write(html)
text= open(ip_filename,'r').read()
print(ip_list)