爬虫--爬取人人网案列（一）

这里导入的包是用的这个https://blog.csdn.net/MR_HJY/article/details/81637745

 

from Day1.fengzhuang_all import get

# url
url = 'http://www.renren.com/966927992'
# 构造headers
headers = {
    # 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    # 'Accept-Encoding': 'gzip, deflate',
    # 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
    # 'Cache-Control': 'max-age=0',
    # 'Connection': 'keep-alive',
    'Cookie': '***********',#根据自己的情况设置
    # 'Host': 'www.renren.com',
    # 'Referer': 'http://renren.com/',
    # 'Upgrade-Insecure-Requests': '1',
    # 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
}
# 调用get函数
html_bytes = get(url, headers=headers)

# 保存页面
with open('renren.html','wb') as f:
    f.write(html_bytes)

由此代码可以看出，只有cookie也可以成功，因为里面包含了所需要的信息。

代码很简单，因为这是第一个版本，后面会在此基础上添加新的东西，和进行进一步的封装