目标网站:前程无忧招聘网
目标网址:https://search.51job.com/list/120000,000000,0000,00,9,99,Python,2,1.html
目标数据:(1)职位名(2)公司名(3)工作地点(4)薪资 (5)发布时间
下面展示代码
运行此代码的前提是您的数据库中创建一个spiders库。
那段代码被我不小心删掉了,嘻嘻。 有需要的话请留言,有时间会补上
import requests
from requests.exceptions import RequestException
import re
import csv
import pymysql
def getHTMLText(url):
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'
}
try:
r = requests.get(url, headers=headers)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except RequestException as e:
print