python爬虫入门超easy系列（二）

python爬虫入门超easy系列（二）

使用cookies技术登录学员信息后台

 http_header = {

    "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.13; rv:65.0) Gecko/20100101 Firefox/65.0",
    "Cookie":"PHPSESSID=ST-36136-BRPAZ-fhqyWyq9jNsVHoyhGrRPA-izm5ejd5j1npj2pjc7i3v4z" #通过浏览器查看元素在响应头中获取cookie信息
}

response = requests.get("http://jx.1000phone.net/",headers=http_header)
print(response.text)
 

• 构建session模拟浏览器流程实现免登录

#模拟浏览器cookie

#获取requests的Session会话,只要程序不结束，session中的cookie一直存在(在有效期内)
s = requests.session()

#构建登录信息结构
post_data = {}
post_data['Account']  = ""
post_data['PassWord'] = ""

#使用Post登录
response = s.post("http://stu.1000phone.net/student.php/Public/login",data=post_data)
print(response.status_code)

#打印session中包含的cookie内容
print(s.cookies.get_dict())

#带着登录信息访问其他后台页面，这里可以使用Get
response = s.get("http://stu.1000phone.net/student.php/Index/problem")
print(response.text)

• 如何使用代理

  1.基本使用

#proxies是代理池,使用key:value形式存放代理,Key是协议类型,value是具体的代理IP和端口号，推荐使用高匿代理
proxies = {"http":"http://61.135.217.7:80"}
requests.get("http://www.baidu.com",proxies=proxies)

2.如何构建代理池
	- 爬取代理网站所有代理连接
	- 抽取相应代理地址
	- 测试代理地址是否可用(包括测试连通性及访问内容)
	- 测试通过放入代理池

• URL的构成
  1.如何解析一个url(统一资源定位符)

#urlparse用于解析网址
from urllib.parse import urlparse
#解析结果是ParseResult(scheme='http', netloc='www.baidu.com', path='/test/python', params='', query='name=jack&age=19', fragment='frag')
parse_result = urlparse("http://www.baidu.com/test/python?name=jack&age=19#frag")
print(parse_result.netloc)

2.什么是url编码(urlencode)

为了防止字符中(主要是汉字)的特殊编码和http协议中的保留字符相冲突，必须对参数中的非ascii字符进行url编码，编码结果是’百分号+16进制的形式’,一般GET方式中会出现这个问题

from urllib.parse import quote
quote("张三") #quote函数对张三进行了url编码

实现一个基本的爬虫

第一版代码

按照需求规格说明书的流程写程序,直观的实现，不考虑结构

"""
1.抓取百度贴吧(lol吧)前10页内容(https://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0)
2.存入文件
"""

import requests

'''
#第一版代码
for i in range(10):
    download_url = "https://tieba.baidu.com/f?kw=lol&ie=utf-8&pn={}".format(i * 50)
    response = requests.get(download_url)
    print(response.text)
    file_name = "{}-第{}页.html".format("lol",i+1)
    with open(file_name,"wb") as f:
        f.write(response.content)
'''

第二版代码（面向过程的思想）

考虑更灵活的参数配置，可以指定贴吧名称及下载页数，按照面向过程的思想实现函数

def download_tieba(tieba_name,page_nums):
    """
    下载指定贴吧的前page_nums页内容
    :param tieba_name: 贴吧名称
    :param page_nums: 要下载多少页
    :return: 无
    """
    for i in range(page_nums):
        download_url = "https://tieba.baidu.com/f?kw={}&ie=utf-8&pn={}".format(tieba_name,i * 50)
        response = requests.get(download_url)
        print(response.text)
        file_name = "{}-第{}页.html".format(tieba_name, i + 1)
        with open(file_name, "wb") as f:
            f.write(response.content)


download_tieba("python",9)

第三版代码(面向对象的爬虫)

#import requests

class TiebaSpider(object):
    """
    实现下载某个贴吧指定页码前的内容，存储下载内容
    """
    def __init__(self,name,pages):
        """
        初始化方法
        """
        self.tieba_name = name
        self.pages_download = pages
        self.base_url = "https://tieba.baidu.com/f?kw={}&ie=utf-8&pn={}"
        self.header = {"User-Agent": "Python"}

    def make_url_list(self):
        """
        获取待下载的url列表
        :return:返回生成的url列表
        """
        url_lists = []
        for i in range(self.pages_download):
            download_url = self.base_url.format(self.tieba_name, i * 50)
            url_lists.append(download_url)
        return url_lists

    #注意maybe static 警告，怎么消除警告?
    def save_url(self,content,file_name):
        """
        将指定内容进行存储
        :param content:要存储的内容，这里传入的参数要求是二进制
        :param file_name:文件名
        :return:无
        """
        with open(file_name,'wb') as f:
            f.write(content)

    def download_url(self,url_str):
        """
        下载指定url处的内容
        :param url_str: 要下载的地址
        :return: 返回下载的结果
        """
        response = requests.get(url_str,headers=self.header)
        return response.content #content是二进制数据

    def run(self):
        """
        主业务逻辑,使用run后期可以改造成多线程爬虫
        :return:
        """
        url_lists = self.make_url_list()
        for url_str in url_lists:
            result_content = self.download_url(url_str)
            file_name = "{}-第{}页.html".format(self.tieba_name,url_lists.index(url_str)+1)
            self.save_url(result_content,file_name)


tieba_spider = TiebaSpider('Python',9)
tieba_spider.run()

学完前面就可以自己尝试改写成爬取糗事百科的爬虫（https://www.qiushibaike.com/8hr/page/2/ #最后2就是页码）