python爬虫筛选数据_python爬虫筛选工作实例讲解

python爬虫筛选工作实例讲解,文件名,爬虫,元素,经验,遍历

python爬虫筛选工作实例讲解

易采站长站，站长之家为您整理了python爬虫筛选工作实例讲解的相关内容。

我们在选择一件商品的时候，会先了解一些相关的商品信息，根据自己的需求和情况再进行选择。这种现象也同样适用于找工作，筛选一个岗位的重要环节，就是看自身是否符合工作经验的要求。不过因为信息量比较大，有没有什么方法可以用python爬虫中的知识点帮我们解决一下呢~具体内容往下看：

根据工作经验年限，划分招聘等级

# 校正拉勾网工作年限描述，以 Boss直聘描述为准

def update_lagou_workyear():

items = db.jobs_lagou_php.find({})

for item in items:

if item['workYear'] == '应届毕业生':

item['workYear'] = '应届生'

elif item['workYear'] == '1年以下':

item['workYear'] = '1年以内'

elif item['workYear'] == '不限':

item['workYear'] = '经验不限'

update_lagou(item)

print('ok')

# 设置招聘的水平，分两次执行

def set_level():

items = db.jobs_zhipin_php.find({})

# items = db.jobs_lagou_php.find({})

if item['workYear'] == '应届生':

item['level'] = 1

elif item['workYear'] == '1年以内':

item['level'] = 2

elif item['workYear'] == '1-3年':

item['level'] = 3

elif item['workYear'] == '3-5年':

item['level'] = 4

elif item['workYear'] == '5-10年':

item['level'] = 5

elif item['workYear'] == '10年以上':

item['level'] = 6

elif item['workYear'] == '经验不限':

item['level'] = 10

update(item)

print('ok')

这里有点坑的就是，一般要求经验不限的岗位，需求基本都写在任职要求里了，所以为了统计的准确性，这个等级的数据，后面会被舍弃掉。

从后续的平均数据来看，这里的经验不限，一般要求的是1-3年左右，但是还是建议舍弃掉。

拉勾网的职位描述和 Boss直聘稍有不同，需要先校正，然后再设置等级

实例扩展：

python实现图片筛选程序

#_*_coding:utf-8_*_

'''

Version V17.1.0

Date 2017-10-15

@Author Cheney

'''

# 收集EL 图片集中需要的图片，在elpick目录下进行

from PIL import Image

import csv

import os

# 获取需要图片的文件名

def readImageName():

# 在elpick目录下读取sn.scv文件，该文件读取出来后元素是list 需要转换为str

get_csv = csv.reader(open("elpick/sn.csv"))

origSN = []

transSN = []

for sn in get_csv:

origSN.append(sn)

tempList = origSN

# 读取csv文件获时获取到的列表，其元素也是列表，需要将其转换为字符串元素，使用下面for语句实现

for s in tempList:

# 去掉列表元素中的[''] 这几个字符

s = str(s).strip('[\'')

s = str(s).strip('\']')

transSN.append(s)

ImageName = transSN

return ImageName

pickImageName = readImageName()

# 遍历所有图片集的文件名

for image in os.listdir("elpick/original_el"):

# 将读取到的文件名进行处理，去扩展名，若是int文件名需要对文件名进行int 处理

imageName = image.strip(".jpg")

# 比较判断 若遍历的文件名在需要收集的列表中，读取之后并保存到pick_el文件夹下

if imageName in pickImageName:

pickImage = Image.open(('elpick/original_el/%s.jpg') % imageName)

pickImage.save(("elpick/picked_el/%s.jpg") % imageName)

到此这篇关于python爬虫筛选工作实例讲解的文章就介绍到这了,更多相关python爬虫筛选工作内容请搜索易采站长站以前的文章或继续浏览下面的相关文章希望大家以后多多支持易采站长站！以上就是关于对python爬虫筛选工作实例讲解的详细介绍。欢迎大家对python爬虫筛选工作实例讲解内容提出宝贵意见