拉勾网爬虫_面向对象

最新推荐文章于 2024-01-04 22:45:21 发布

calculate_1

最新推荐文章于 2024-01-04 22:45:21 发布

阅读量740

点赞数

分类专栏： scrapy-爬虫文章标签：爬虫面向对象 xmlhttprequest

本文链接：https://blog.csdn.net/calculate_1/article/details/78079353

版权

ajax请求下，动态页面数据的抓取，主要是构建post请求头，模拟请求

import requests
from lxml import etree
import json
import sys
class Lagou(object):
    def __init__(self):
        self.headers = {
            'X-Requested-With': 'XMLHttpRequest',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',
            'Cookie': 'user_trace_token=20170920183457-58cc73d5-9def-11e7-9c29-525400f775ce; LGUID=20170920183457-58cc7899-9def-11e7-9c29-525400f775ce; index_location_city=%E5%85%A8%E5%9B%BD; TG-TRACK-CODE=search_code; _gid=GA1.2.1674249864.1506152972; _ga=GA1.2.661938952.1505903691; LGRID=20170924124247-cffed120-a0e2-11e7-9278-5254005c3644; JSESSIONID=ABAAABAACDBABJB5CBA63393ECA49354BFB77C6B0BD0B5B; SEARCH_ID=4b82b54b5eab451392d2f73823a14a00',
            'Host': 'www.lagou.com',

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

calculate_1

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
拉勾网爬虫_面向对象

import requests from lxml import etree import json import sys class Lagou(object):def __init__(self): self.headers = { 'X-Requested-With': 'XMLHttpRequest', 'User-Agent': 'Mozil
复制链接

扫一扫