python爬虫入门超easy系列(二)
使用cookies技术登录学员信息后台
http_header = {
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.13; rv:65.0) Gecko/20100101 Firefox/65.0",
"Cookie":"PHPSESSID=ST-36136-BRPAZ-fhqyWyq9jNsVHoyhGrRPA-izm5ejd5j1npj2pjc7i3v4z" #通过浏览器查看元素在响应头中获取cookie信息
}
response = requests.get("http://jx.1000phone.net/",headers=http_header)
print(response.text)
- 构建session模拟浏览器流程实现免登录
#模拟浏览器cookie
#获取requests的Session会话,只要程序不结束,session中的cookie一直存在(在有效期内)
s = requests.session()
#构建登录信息结构
post_data = {}
post_data['Account'] = ""
post_data['PassWord'] = ""
#使用Post登录
response = s.post("http://stu.1000phone.net/student.php/Public/login",data=post_data)
print(response.status_code)
#打印session中包含的cookie内容
print(s.cookies.get_dict())
#带着登录信息访问其他后台页面,这里可以使用Get
response = s.get("http://stu.1000phone.net/student.php/Index/problem")
print(response.text)
-
如何使用代理
1.基本使用
#proxies是代理池,使用key:value形式存放代理,Key是协议类型,value是具体的代理IP和端口号,推荐使用高匿代理
proxies = {"http":"http://61.135.217.7:80"}
requests.get("http://www.baidu.com",proxies=proxies)
2.如何构建代理池
- 爬取代理网站所有代理连接
- 抽取相应代理地址
- 测试代理地址是否可用(包括测试连通性及访问内容)
- 测试通过放入代理池
- URL的构成
1.如何解析一个url(统一资源定位符)
#urlparse用于解析网址
from urllib.parse import urlparse
#解析结果是ParseResult(scheme='http', netloc='www.baidu.com', path='/test/python', params='', query='name=jack&age=19', fragment='frag')
parse_result = urlparse("http://www.baidu.com/test/python?name=jack&age=19#frag")
print(parse_result.netloc)
2.什么是url编码(urlencode)
为了防止字符中(主要是汉字)的特殊编码和http协议中的保留字符相冲突,必须对参数中的非ascii字符进行url编码,编码结果是’百分号+16进制的形式’,一般GET方式中会出现这个问题
from urllib.parse import quote
quote("张三") #quote函数对张三进行了url编码
实现一个基本的爬虫
第一版代码
按照需求规格说明书的流程写程序,直观的实现,不考虑结构
"""
1.抓取百度贴吧(lol吧)前10页内容(https://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0)
2.存入文件
"""
import requests
'''
#第一版代码
for i in range(10):
download_url = "https://tieba.baidu.com/f?kw=lol&ie=utf-8&pn={}".format(i * 50)
response = requests.get(download_url)
print(response.text)
file_name = "{}-第{}页.html".format("lol",i+1)
with open(file_name,"wb") as f:
f.write(response.content)
'''
第二版代码(面向过程的思想)
考虑更灵活的参数配置,可以指定贴吧名称及下载页数,按照面向过程的思想实现函数
def download_tieba(tieba_name,page_nums):
"""
下载指定贴吧的前page_nums页内容
:param tieba_name: 贴吧名称
:param page_nums: 要下载多少页
:return: 无
"""
for i in range(page_nums):
download_url = "https://tieba.baidu.com/f?kw={}&ie=utf-8&pn={}".format(tieba_name,i * 50)
response = requests.get(download_url)
print(response.text)
file_name = "{}-第{}页.html".format(tieba_name, i + 1)
with open(file_name, "wb") as f:
f.write(response.content)
download_tieba("python",9)
第三版代码(面向对象的爬虫)
#import requests
class TiebaSpider(object):
"""
实现下载某个贴吧指定页码前的内容,存储下载内容
"""
def __init__(self,name,pages):
"""
初始化方法
"""
self.tieba_name = name
self.pages_download = pages
self.base_url = "https://tieba.baidu.com/f?kw={}&ie=utf-8&pn={}"
self.header = {"User-Agent": "Python"}
def make_url_list(self):
"""
获取待下载的url列表
:return:返回生成的url列表
"""
url_lists = []
for i in range(self.pages_download):
download_url = self.base_url.format(self.tieba_name, i * 50)
url_lists.append(download_url)
return url_lists
#注意maybe static 警告,怎么消除警告?
def save_url(self,content,file_name):
"""
将指定内容进行存储
:param content:要存储的内容,这里传入的参数要求是二进制
:param file_name:文件名
:return:无
"""
with open(file_name,'wb') as f:
f.write(content)
def download_url(self,url_str):
"""
下载指定url处的内容
:param url_str: 要下载的地址
:return: 返回下载的结果
"""
response = requests.get(url_str,headers=self.header)
return response.content #content是二进制数据
def run(self):
"""
主业务逻辑,使用run后期可以改造成多线程爬虫
:return:
"""
url_lists = self.make_url_list()
for url_str in url_lists:
result_content = self.download_url(url_str)
file_name = "{}-第{}页.html".format(self.tieba_name,url_lists.index(url_str)+1)
self.save_url(result_content,file_name)
tieba_spider = TiebaSpider('Python',9)
tieba_spider.run()
学完前面就可以自己尝试改写成爬取糗事百科的爬虫(https://www.qiushibaike.com/8hr/page/2/ #最后2就是页码)