selenium自动化获取Boss的岗位数据

介绍

使用selenium自动化获取Boss直聘的首页互联网/AI标签的数据并遍历点击获取岗位详细信息保存数据库

使用

1、安装依赖

pip install -r requirements.txt

2、Boss文件夹下Boss.py修改main()

conn = pymysql.connect(host='127.0.0.1', user='root', password='798lhh', database='BossDB')

字段	含义	更改
user	账号	自己数据库账号
password	密码	自己数据库密码
database	数据库名称	自己数据库名称

3、在135行找到下面sql，然后修改post, post是表名，改为你自己的

sql = '''insert into post(category, sub_category,job_title,province,job_location,job_company,job_industry,job_finance,job_scale,job_welfare,job_salary_range,job_experience,job_education,job_skills,create_time) values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)'''

4、SQL语句创建

create database BossDB;
use BossDB;

create table BossDB.post
(
    category         varchar(255) null ,
    sub_category     varchar(255) null ,
    job_title        varchar(255) null ,
    province         varchar(100) null ,
    job_location     varchar(255) null ,
    job_company      varchar(255) null ,
    job_industry     varchar(255) null ,
    job_finance      varchar(255) null ,
    job_scale        varchar(255) null ,
    job_welfare      varchar(255) null ,
    job_salary_range varchar(255) null ,
    job_experience   varchar(255) null ,
    job_education    varchar(255) null ,
    job_skills       varchar(255) null ,
    create_time      varchar(50)  null 
);

仓库地址：点我跳转