仿拉钩app（一）---爬虫数据准备

工欲善其事必先利其器，准备做一个拉钩的app，但是没数据可怎么办，那就直接扒裤衩去爬吧
一般爬虫的思路为：
1. 分析页面结构
2. 是否有接口
3. 模仿请求（解决反爬的各种方式）
4. 解析数据
5. 存储数据

按照以上的思路，先分析了一波拉钩网的结构，发现拉钩是直接通过接口传递数据的（这也太爽了），但是有ip访问限制，大概是1分钟请求5次的频率，所以准备一个ip代理池（土豪可以直接买一个）

接下来直接上代码了

配置信息：

client = pymongo.MongoClient(host='localhost', port=27017)
db = client['data_name']
data_collection = db['data_collection ']
headers = {
    "Referer": "https://www.lagou.com/jobs/list_",#必填，否则没数据
    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 "
                  "(KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36",
}

筛选关键词：

keywords = [
    'java',
    'python',
    '前端',
    ...#你想要的岗位或要求
]

主要爬取流程
先使用本地ip获取->当被限制时，从代理ip池中取出ip爬取数据（该ip不可用则删除，可以使用则连续使用该ip）->将爬取的数据，进行查重并存储。

base_request = requests.post(url, data=data, headers=headers, timeout=3)
if not base_request.json().get('content', ''):
    flag = False
    while not flag:  # 若代理ip没走通则换一个
        try:
            r = requests.post(url, data=data, headers=headers, timeout=3, proxies=proxies)
            if not r.json().get('content', ''):
                raise Exception('这个ip不能用')
            save_to_db(r.json().get('content', ''))  # 存入数据库
            flag = True  # 成功获取数据跳出循环
       except Exception as e:
           if 'HTTPSConnectionPool' in str(e):
               delete_proxy(proxy) # 代理本身不可用则删除该代理
           proxy = str(get_proxy(), encoding='utf-8')
           proxies = {
                         'http': 'http://{}'.format(proxy),
                         'https': 'http://{}'.format(proxy),
           }  # 切换代理
           else:
               save_to_db(base_request.json().get('content', ''),'data') # 存入数据库

def save_to_db(content, now_type):
    if now_type == 'data':
        data_list = content
        for item in data_list:
            print(item)
            find_data = data_collection .find_one(
                {'companyId': item.get('companyId')})
            if not find_data:  # 查重后插入数据库
                data_collection .insert(item)

详细代码戳