python爬虫入门020～爬取前程无忧51job的职位信息并存入mysql数据库

于 2019-06-11 19:58:04 发布
阅读量2.2k 收藏 28
点赞数 1
分类专栏： python 文章标签： python python入门 python爬虫 python3 python数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiushi_1990/article/details/91460307
版权

准备工作

  • 开发工具：pycharm
  • python版本：python3
  • 用到的类库 re，requests，xlwt
  • 可以保存在excel和数据库中
  • 安装这些类库我是借助pip，如果不知道如何用pip请移步到
  • https://www.jianshu.com/p/7e59f52ea0b6

我们这里以搜索“python”职位为例

爬取数据保存到excel完整代码如下，代码里注释讲解的很清楚了

# -*- coding:utf-8 -*-
import re  # 用来做正则匹配用
import requests  # 用来做网络请求用
import xlwt  # 用来创建excel文档并写入数据
# 要查询的职位
key = 'python'
# 获取原码
def get_content(page):
    headers = {'Host': 'search.51job.com',
               'Upgrade-Insecure-Requests': '1',
               'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
    url = 'http://search.51job.com/list/000000,000000,0000,00,9,99,' + key + ',2,' + str(
        page) + '.html'
    r = requests.get(url, headers, timeout=10)
    s = requests.session()
    s.keep_alive = False
    r.encoding = 'gbk'
    html = r.text
    return html
# 匹配规则
def get(html):
    reg = re.compile(
        r'class="t1 ">.*? <a target="_blank" title="(.*?)".*? <span class="t2"><a target="_blank" title="(.*?)".*?<span class="t3">(.*?)</span>.*?<span class="t4">(.*?)</span>.*? <span class="t5">(.*?)</span>',
        re.S)  # 匹配换行符
    items = re.findall(reg, html)
    return items
def excel_write(items, index):
    # 爬取到的内容写入excel表格
    for item in items:  # 职位信息
        for i in range(0, 5):
            # print item[i]
            ws.write(index, i, item[i])  # 行，列，数据
        print(index)
        index += 1
newTable = "test.xls"  # 表格名称
wb = xlwt.Workbook(encoding='utf-8')  # 创建excel文件，声明编码
ws = wb.add_sheet('sheet1')  # 创建表格
headData = ['职位', '公司', '地址', '薪资', '日期']  # 表头部信息
for colnum in range(0, 5):
    ws.write(0, colnum, headData[colnum], xlwt.easyxf('font: bold on'))  # 行，列
# 查询1-10页的数据，这里的10可以改成你想查询多少页
for each in range(1, 2):
    index = (each - 1) * 50 + 1
    excel_write(get(get_content(each)), index)
wb.save(newTable)  # 数据保存到excel表格

运行上面代码控制台输出如下，代表我们成功保存了44条数据。

 

再来看下开发工具同目录下多了一个test.xls文件

 

 

 

 

打开test.xls文件，可以看到我们成功保存了抓取到的数据到excel文件。这就为我们后期做数据分析打好了准备

 

保存到mysql数据完整代码

# -*- coding:utf-8 -*-
import re  # 用来做正则匹配用
import requests  # 用来做网络请求用
import xlwt  # 用来创建excel文档并写入数据
import pymysql  # 用来操作数据库
# 要查询的职位
key = 'python'
# 获取原码
def get_content(page):
    headers = {'Host': 'search.51job.com',
               'Upgrade-Insecure-Requests': '1',
               'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
    url = 'http://search.51job.com/list/000000,000000,0000,00,9,99,' + key + ',2,' + str(
        page) + '.html'
    r = requests.get(url, headers, timeout=10)
    s = requests.session()
    s.keep_alive = False
    r.encoding = 'gbk'
    html = r.text
    return html
# 匹配规则
def get(html):
    reg = re.compile(
        r'class="t1 ">.*? <a target="_blank" title="(.*?)".*? <span class="t2"><a target="_blank" title="(.*?)".*?<span class="t3">(.*?)</span>.*?<span class="t4">(.*?)</span>.*? <span class="t5">(.*?)</span>',
        re.S)  # 匹配换行符
    items = re.findall(reg, html)
    return items
# 第一种方式： =============数据存入excel表格
# def excel_write(items, index):
#     # 爬取到的内容写入excel表格
#     for item in items:  # 职位信息
#         for i in range(0, 5):
#             # print item[i]
#             ws.write(index, i, item[i])  # 行，列，数据
#         print(index)
#         index += 1
#
#
# newTable = "test.xls"  # 表格名称
# wb = xlwt.Workbook(encoding='utf-8')  # 创建excel文件，声明编码
# ws = wb.add_sheet('sheet1')  # 创建表格
# headData = ['职位', '公司', '地址', '薪资', '日期']  # 表头部信息
# for colnum in range(0, 5):
#     ws.write(0, colnum, headData[colnum], xlwt.easyxf('font: bold on'))  # 行，列
# for each in range(1, 10):  # 查询1-10页的数据，这里的10可以改成你想查询多少页
#     index = (each - 1) * 50 + 1
#     excel_write(get(get_content(each)), index)
# wb.save(newTable)  # 数据保存到excel表格
# 第二种方式 =================数据存入数据库
# 操作数据库的类
class MySQLCommand(object):
    # 类的初始化
    def __init__(self):
        self.host = 'localhost'
        self.port = 3306  # 端口号
        self.user = 'root'  # 用户名
        self.password = "qcl123"  # 密码
        self.db = "test"  # 库
        self.table = "shuju"  # 表
    # 链接数据库
    def connectMysql(self):
        try:
            self.conn = pymysql.connect(host=self.host, port=self.port, user=self.user,
                                        passwd=self.password, db=self.db, charset='utf8')
            self.cursor = self.conn.cursor()
        except:
            print('connect mysql error.')
    # 插入数据，插入之前先查询是否存在，如果存在就不再插入
    def insertData(self, my_dict):
        table = self.table  # 要操作的表格
        # 注意，这里查询的sql语句id=' %s '中%s的前后要有空格
        sqlExit = "SELECT gongsi FROM " + table + " WHERE gongsi = ' %s '" % (my_dict['gongsi'])
        res = self.cursor.execute(sqlExit)
        if res:  # res为查询到的数据条数如果大于0就代表数据已经存在
            print("数据已存在", res)
            return 0
        # 数据不存在才执行下面的插入操作
        try:
            cols = ', '.join(my_dict.keys())  # 用，分割
            values = '"," '.join(my_dict.values())
            sql = "INSERT INTO " + table + " (%s) VALUES (%s)" % (cols, '"' + values + '"')
            # 拼装后的sql如下
            # INSERT INTO home_list (img_path, url, id, title) VALUES ("https://img.huxiucdn.com.jpg"," https://www.huxiu.com90.html"," 12"," ")
            try:
                result = self.cursor.execute(sql)
                insert_id = self.conn.insert_id()  # 插入成功后返回的id
                self.conn.commit()
                # 判断是否执行成功
                if result:
                    print("插入成功", insert_id)
                    return insert_id + 1
            except pymysql.Error as e:
                # 发生错误时回滚
                self.conn.rollback()
                # 主键唯一，无法插入
                if "key 'PRIMARY'" in e.args[1]:
                    print("数据已存在，未插入数据")
                else:
                    print("插入数据失败，原因 %d: %s" % (e.args[0], e.args[1]))
        except pymysql.Error as e:
            print("数据库错误，原因%d: %s" % (e.args[0], e.args[1]))
    # 查询最后一条数据的id值
    def getLastId(self):
        sql = "SELECT max(id) FROM " + self.table
        try:
            self.cursor.execute(sql)
            row = self.cursor.fetchone()  # 获取查询到的第一条数据
            if row[0]:
                return row[0]  # 返回最后一条数据的id
            else:
                return 0  # 如果表格为空就返回0
        except:
            print(sql + ' execute failed.')
    def closeMysql(self):
        self.cursor.close()
        self.conn.close()  # 创建数据库操作类的实例
mysqlCommand = MySQLCommand()
mysqlCommand.connectMysql()
def savedb(items, index):
    for item in items:  # 职位信息
        # 只选择长度大于0的结果
        if len(item) > 0:
            # 这里每次查询数据库中最后一条数据的id，新加的数据每成功插入一条id + 1
            dataCount = int(mysqlCommand.getLastId()) + 1
            # 职位
            try:
                zhiwei = item[0]
            except Exception:
                zhiwei = ""
            # 公司
            try:
                gongsi = item[1]
            except Exception:
                gongsi = ""
            # 地址
            try:
                dizhi = item[2]
            except Exception:
                dizhi = ""
            # 薪资
            try:
                xinzi = item[3]
            except Exception:
                xinzi = ""
            # 日期
            try:
                riqi = item[4]
            except Exception:
                riqi = ""
            # 把爬取到的每条数据组合成一个字典用于数据库数据的插入
            news_dict = {
                "id": str(dataCount),
                "zhiwei": zhiwei,
                "gongsi": gongsi,
                "dizhi": dizhi,
                "xinzi": xinzi,
                "riqi": riqi,
            }
            try:
                # 插入数据，如果已经存在就不在重复插入
                res = mysqlCommand.insertData(news_dict)
                if res:
                    dataCount = res
            except Exception as e:
                print("插入数据失败", str(e))  # 输出插入失败的报错语句
for each in range(1, 2):  # 查询1-10页的数据，这里的10可以改成你想查询多少页
    index = (each - 1) * 50 + 1
    savedb(get(get_content(each)), index)  # 数据存入mysql数据库
mysqlCommand.closeMysql()  # 最后一定要要把数据关闭
dataCount = 0
class MySQLCommand(object):
    # 类的初始化
    def __init__(self):
        self.host = 'localhost'
        self.port = 3306  # 端口号
        self.user = 'root'  # 用户名
        self.password = "qcl123"  # 密码
        self.db = "home"  # 库
        self.table = "home_list"  # 表
    # 链接数据库
    def connectMysql(self):
        try:
            self.conn = pymysql.connect(host=self.host, port=self.port, user=self.user,
                                        passwd=self.password, db=self.db, charset='utf8')
            self.cursor = self.conn.cursor()
        except:
            print('connect mysql error.')
    # 插入数据，插入之前先查询是否存在，如果存在就不再插入
    def insertData(self, my_dict):
        table = self.table  # 要操作的表格
        # 注意，这里查询的sql语句url=' %s '中%s的前后要有空格
        sqlExit = "SELECT url FROM " + table + " WHERE url = ' %s '" % (my_dict['url'])
        res = self.cursor.execute(sqlExit)
        if res:  # res为查询到的数据条数如果大于0就代表数据已经存在
            print("数据已存在", res)
            return 0
        # 数据不存在才执行下面的插入操作
        try:
            cols = ', '.join(my_dict.keys())  # 用，分割
            values = '"," '.join(my_dict.values())
            sql = "INSERT INTO " + table + " (%s) VALUES (%s)" % (cols, '"' + values + '"')
            # 拼装后的sql如下
            # INSERT INTO home_list (img_path, url, id, title) VALUES ("https://img.huxiucdn.com.jpg"," https://www.huxiu.com90.html"," 12"," ")
            try:
                result = self.cursor.execute(sql)
                insert_id = self.conn.insert_id()  # 插入成功后返回的id
                self.conn.commit()
                # 判断是否执行成功
                if result:
                    print("插入成功", insert_id)
                    return insert_id + 1
            except pymysql.Error as e:
                # 发生错误时回滚
                self.conn.rollback()
                # 主键唯一，无法插入
                if "key 'PRIMARY'" in e.args[1]:
                    print("数据已存在，未插入数据")
                else:
                    print("插入数据失败，原因 %d: %s" % (e.args[0], e.args[1]))
        except pymysql.Error as e:
            print("数据库错误，原因%d: %s" % (e.args[0], e.args[1]))
    # 查询最后一条数据的id值
    def getLastId(self):
        sql = "SELECT max(id) FROM " + self.table
        try:
            self.cursor.execute(sql)
            row = self.cursor.fetchone()  # 获取查询到的第一条数据
            if row[0]:
                return row[0]  # 返回最后一条数据的id
            else:
                return 0  # 如果表格为空就返回0
        except:
            print(sql + ' execute failed.')
    def closeMysql(self):
        self.cursor.close()
        self.conn.close()  # 创建数据库操作类的实例

保存到数据库的数据如下

 

到这里就实现了python爬虫功能。

如果觉得图文不太好理解，我们后面会有视频讲解，请持续关注老师，关注本专栏。

本节课是《手把手带你零基础入门python开发》系列课程的一节，如果你想快速入门python开发，想开发一款属于自己的python项目，想学习爬虫，想了解数据分析，想开发自己的网站，可以跟着老师来零基础入门。

本套课程主要就是面向零基础人员。所以讲解的都是一些通俗易懂的入门技能。所以完全不用担心自己不懂编程。

视频讲解地址：https://edu.csdn.net/course/detail/25009

往期文章
python入门001～python开发工具 pycharm的安装与破解（mac和window都有讲）

python入门002～创建属于自己的第一个python项目

编程小石头
关注
  • 1
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
博客
2023年最新最全uniCloud入门学习，零基础入门到实战项目 uni-admin打造uniapp网页后端 微信支付宝抖音小程序后端 unicloud数据后台快速打造uniapp小程序项目
04-23 6371
serverless是目前很火的概念，它是下一代云技术，是真正的“云”。传统的云服务，让开发者免于购买实体服务器硬件，改为购买虚拟机。但开发者仍然要自己装操作系统、web服务器、数据库，自己处理热备，自己新购服务器来应对高并发，自己抗DDOS攻击…这不是成熟的“云”！真正的云计算，就像用水用电，没有复杂的门槛，即用即有、按需付费。简单回顾下用电的历史。几十年前，很多单位都有专门管电的工程师，当单位的电力负荷不够时，就需要找这个管电的工程师扩容发电机。
博客
最新版人脸识别小程序 图片识别 生成二维码签到 地图上选点进行位置签到 计算签到距离 课程会议活动打卡日常考勤 上课签到打卡考勤口令签到
04-13 4471
人脸识别签到，位置签到，考勤打卡
博客
Java后台微信点餐小程序开发最新版笔记，Springboot+Mysql+Freemarker+Bootstrap+微信小程序实现扫码点餐小程序，包含语音提示，微信消息推送，网页管理后台
11-22 1万+
Java后台实现微信点餐小程序。。。。。
博客
2023年最新最全uniapp入门学习，零基础入门uniapp到实战项目，unicloud数据后台快速打造uniapp小程序项目
11-03 2万+
零基础入门uniapp的开发
博客
最新最全垃圾分类小程序，含图片识别和语音识别，视频播放，垃圾分类搜索，垃圾知识答题，积分排行，文章推荐，收藏点赞文章 登录注册等功能
10-15 7227
效果图1,图片识别垃圾2，垃圾分类答题2-1，答题2-2，答题结果3，科普视频4，垃圾分类指南5，自主添加垃圾6，查看垃圾7，搜索垃圾所属分类8，语言识别录音中第1节~微信开发者工具的安装与使用我们在开发小程序之前，首先需要安装小程序开发者工具，今天就来教大家安装小程序开发者工具。一，其实很简单，只需要进入小程序官网，然后点击工具，如下图所示。当然了，也可以直接通过下面链接去下载https://developers.weixin.qq.com/mi
博客
答题小程序学习，题库答题类小程序，云开发+cms做后台，有错题集，积分排名，做题进度
03-04 2万+
今天开始手把手的带大家实现一款答题类的小程序一，效果预览二，配套资料1，讲解视频视频课我会在B站免费提供给大家，欢迎关注，欢迎三连。https://space.bilibili.com/419474640/video2，配套笔记配套笔记分在线版和离线电子书版。在线笔记会在石头哥的个人博客上免费给到大家，欢迎关注，笔记会持续更新。https://blog.csdn.net/qiushi_19903，支持石头哥????3-1，源码和配套资源获取目前源码和配套资源暂时不免费，毕竟创作不易，
博客
手把手带你开发一款云开发版点餐小程序，微信扫码点餐，店铺地图导航，外卖小程序，用户端和后厨端都有
02-06 2万+
从今天开始带领大家实现一款云开发版的点餐小程序技术选型1，前端微信小程序原生框架cssJavaScript2，管理后台云开发Cms内容管理系统web网页3，数据后台小程序云开发云函数云数据库云存储效果预览1，小程序端2，管理后台3，数据库配套资料1，讲解视频视频课我会在B站免费提供给大家，欢迎关注，欢迎三连。https://space.bilibili.com/419474640/video2，配套笔记配套笔记会在csdn上免费给到大家，欢迎关注，
博客
最新最全的云开发入门教程，微信小程序云开发，云函数，云数据库学习，微信小程序云开发扩展功能学习
01-22 9万+
零基础入门小程序云开发云函数
博客
小程序+云开发+cms实现校园管理系统，含图书借阅，饭卡充值，宿舍维修，校园资讯等功能
01-20 7047
一，老规矩先看效果图小程序端1，首页2，校园资讯3，新闻详情4，个人中心5，宿舍维修6，宿舍维修订单7，饭卡充值8，支付可选择充值金额，由于我们这里没有开通微信支付，所以这里是模拟支付，如果想实现微信支付，需要用营业执照注册一个企业小程序，并且要开通微信支付。如果想实现真实支付，可以找石头哥定制改造。9，充值记录10，校园官网我们这里校园官网是用webview实现得，所以需要是企业小程序，并且要在小程序里配置相关域名。如果你是个人小程序的话，直接打开校园官网会
博客
最新最全的微信小程序入门学习教程，微信小程序零基础入门到精通
07-24 6万+
从今天开始就来带领大家学习微信小程序了，只要你跟着我一步步来，相信你也可以上线一款属于自己的微信小程序一，认识小程序微信⼩程序，简称⼩程序，英⽂名 Mini Program Mini Program ，是⼀种不需要下载安装即可使⽤的应⽤，它实现 了应⽤“触⼿可及”的梦想，⽤⼾扫⼀扫或搜⼀下即可打开应⽤1-1，微信小程序的优势1.微信有海量⽤⼾，⽽且粘性很⾼，在微信⾥开发产品更容易触达⽤⼾；2.推⼴app或公众号的成本太⾼。3.开发适配成本低。4.容易⼩规模试错，然后快速迭代。5.跨平台。
博客
2024年最新版云开发cms开通步骤，开始开发微信小程序前的准备工作，认真看完奥！
04-20 955
小程序官方有改版了，搞得石头哥不得不紧急的再新出一版，教大家开通最新版的cms网页管理后台。
博客
三小时零基础入门微信扫码点餐小程序 手把手带你开发一款云开发版点餐软件，店铺地图导航，外卖小程序，用户端和后厨端都有
04-13 861
从今天开始带领大家实现一款云开发版的点餐小程序。
博客
3小时零基础入门微信小程序开发2024年最新版
04-13 948
用大白话讲：变量就是一个装东西的盒子再通俗些讲：变量就是用于存放数据的容器，我们通过变量名获取对应的数据。如上图所示，我们的盒子(变量)可以装名字，布尔类型的true，还可以用来装数字。变量的本质：就是在程序的内存中申请一块用来存放数据的空间。对象只是一种特殊的数据。对象是一组无序的相关属性和方法组成。这里重点要记住属性和方法这两个新概念属性：事物的特征，对象里的属性就是用来表现该对象具备哪些特征方法：事物的行为，对象里方法就是用来表示该对象具备哪些行为。
博客
1小时搞定SpringBoot+Vue3+小程序全栈开发，使用vite构建管理项目，前后端分离包含mysql数据库，网站后台，小程序前端
04-11 474
正式开始之前呢，我们要先去下载以下几个开发软件每个软件大家自行百度就行的。在接下来的学习中我会把一些需要注意的事项慢慢的讲给大家。我这里把一些常用的命令行放在这里，后面用到了回来找就行，不用特意记住。
博客
开始开发微信小程序前的准备工作，认真看完奥
04-02 869
1，小程序前端wxmlcssMINA原生小程序框架2，数据库云开发云数据库云存储云数据库是云开发自带的数据库(json类型的弱关系型的基于MongoDB的数据库)3，后台（云开发）基于小程序官方自研的云开发和云函数实现后台数据的管理后台网页使用cms（内容模型）
博客
2024新版微信小程序登录注册功能的实现，授权登录，退出，缓存讲解，小程序个人中心的实现，修改头像 图片上传功能的实现 新版登陆注册，头像上传，修改昵称
03-08 1211
新版小程序授权登录注册获取头像昵称文档。
博客
2024年新版CMS内容管理使用，不用回退老版本 使用最新小程序云开发cms内容模型
03-04 1464
最近越来越多的同学找石头哥，说cms用不了，其实是小程序官方最近又搞大动作了，偷偷的升级的云开发cms（内容管理）以下都称cms，不升级不要紧，这一升级，就导致我们没有办法正常使用cms了。如果你是新开通的cms基本上都会有下面的问题。新版本目前的问题吗就是下面几种。
博客
2024年小程序云开发CMS内容管理无法使用，无法同步内容模型到云开发数据库的解决方案，回退老版本CMS内容管理的最新方法
02-28 893
最近越来越多的同学找石头哥，说cms用不了，其实是小程序官方最近又搞大动作了，偷偷的升级的云开发cms（内容管理）以下都称cms，不升级不要紧，这一升级，就导致我们没有办法正常使用cms了。如果你是新开通的cms基本上都会有下面的问题。新版本目前的问题吗就是下面几种。
博客
零基础带你开发一款属于自己的校园跑腿小程序 同城跑腿代办小程序开发学习 代取快递 代买东西 代寄快递 含骑手端 管理员端 用户端 校园圈子论坛
12-08 911
校园跑腿小程序的开发学习
博客
2023年10月小程序云开发cms内容管理无法使用，无法同步内容模型到云开发数据库的解决方案
10-22 2747
最近越来越多的同学找石头哥，说cms用不了，其实是小程序官方最近又搞大动作了，偷偷的升级的云开发cms（内容管理）以下都称cms，不升级不要紧，这一升级，就导致我们没有办法正常使用cms了。如果你是新开通的cms基本上都会有下面的问题。新版本目前的问题吗就是下面几种。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值