Python爬虫

已于 2022-11-21 14:30:23 修改
阅读量3.7k 收藏 5
点赞数 2
分类专栏： python爬虫 爬虫 文章标签： python 爬虫
于 2022-01-11 17:24:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LegendaryChen/article/details/122437222
版权
本文介绍了使用Python语言编写网络爬虫，爬取特定网站信息并存储到MySQL数据库的过程。数据包括文字和图片，图片路径存储在数据库，实际资源保存在本地文件夹。涉及的技术点包括Python爬虫编程和数据库操作。
摘要由CSDN通过智能技术生成

基本要求：
选择一个主题，用Python语言编写一个网络爬虫程序，将文字和图像等信息抓取到MySQL中保存，（如果有图片数据，图片数据可以只在数据库存放路径，图片资源存储到文件夹）。
(1)主题说明：
1.小说/热点/电商/交通/科技/财经/房产/本地/健康/影视/法制/军事/科学/国际/电影/漫画/游戏/养生/宠物/家居/历史/数码/摄影/三农/旅游/星座/体育（可以分各个体育项目）/股票/音乐/教育

这里选择爬取一个个人网站，爬取到的信息存储在MySQL数据库里，图片放在本地，图片路径存储在mysql数据库，代码如下：

数据库

/*
 Navicat Premium Data Transfer

 Source Server         : localhost_3306
 Source Server Type    : MySQL
 Source Server Version : 50623
 Source Host           : localhost:3306
 Source Schema         : gem_db

 Target Server Type    : MySQL
 Target Server Version : 50623
 File Encoding         : 65001

 Date: 11/01/2022 17:21:15
*/

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for about
-- ----------------------------
DROP TABLE IF EXISTS `about`;
CREATE TABLE `about`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `about_img` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;

-- ----------------------------
-- Table structure for about_info
-- ----------------------------
DROP TABLE IF EXISTS `about_info`;
CREATE TABLE `about_info`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `title` tinytext CHARACTER SET utf8 COLLATE utf8_general_ci NULL,
  `content` tinytext CHARACTER SET utf8 COLLATE utf8_general_ci NULL,
  `aid` int(11) NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE,
  INDEX `aid`(`aid`) USING BTREE,
  CONSTRAINT `aid` FOREIGN KEY (`aid`) REFERENCES `about` (`id`) ON DELETE CASCADE ON UPDATE CASCADE
) ENGINE = InnoDB AUTO_INCREMENT = 17 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;

-- ----------------------------
-- Table structure for awards
-- ----------------------------
DROP TABLE IF EXISTS `awards`;
CREATE TABLE `awards`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `year` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `content` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 71 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;

-- ----------------------------
-- Table structure for calendar
-- ----------------------------
DROP TABLE IF EXISTS `calendar`;
CREATE TABLE `calendar`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `calendar_img` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `date` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `content` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `address` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 63 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;

-- ----------------------------
-- Table structure for charity
-- ----------------------------
DROP TABLE IF EXISTS `charity`;
CREATE TABLE `charity`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `content` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;

-- ----------------------------
-- Table structure for charity_img
-- ----------------------------
DROP TABLE IF EXISTS `charity_img`;
CREATE TABLE `charity_img`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `charity_img` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `cid` int(11) NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE,
  INDEX `cid`(`cid`) USING BTREE,
  CONSTRAINT `cid` FOREIGN KEY (`cid`) REFERENCES `charity` (`id`) ON DELETE CASCADE ON UPDATE CASCADE
) ENGINE = InnoDB AUTO_INCREMENT = 19 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;

-- ----------------------------
-- Table structure for honour
-- ----------------------------
DROP TABLE IF EXISTS `honour`;
CREATE TABLE `honour`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `content` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 2 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;

-- ----------------------------
-- Table structure for honour_img
-- ----------------------------
DROP TABLE IF EXISTS `honour_img`;
CREATE TABLE `honour_img`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `honour_img` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `hid` int(11) NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE,
  INDEX `hid`(`hid`) USING BTREE,
  CONSTRAINT `hid` FOREIGN KEY (`hid`) REFERENCES `honour` (`id`) ON DELETE CASCADE ON UPDATE CASCADE
) ENGINE = InnoDB AUTO_INCREMENT = 19 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;

-- ----------------------------
-- Table structure for tour
-- ----------------------------
DROP TABLE IF EXISTS `tour`;
CREATE TABLE `tour`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `tour_img` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `title` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 4 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;

-- ----------------------------
-- Table structure for tour_info
-- ----------------------------
DROP TABLE IF EXISTS `tour_info`;
CREATE TABLE `tour_info`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `date` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `address` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `tid` int(11) NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE,
  INDEX `tid`(`tid`) USING BTREE,
  CONSTRAINT `tid` FOREIGN KEY (`tid`) REFERENCES `tour` (`id`) ON DELETE CASCADE ON UPDATE CASCADE
) ENGINE = InnoDB AUTO_INCREMENT = 517 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;

SET FOREIGN_KEY_CHECKS = 1;

爬虫程序代码

from contextlib import closing

import pymysql
import requests
from bs4 import BeautifulSoup

class crawler():
    # 数据库连接
    db = None
    def __init__(self):
        # 网站地址
        self.url="https://iamgem.com/"
        # 加入反爬虫
        self.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36'}

    def init_db(self):
        # 打开数据库连接
        self.db = pymysql.connect(host="localhost", user="root", password="root", database="gem_db")


    def get_calendar(self):
        print('正在获取日历...')
        # 获取 clendar html网页
        res = requests.get(url="https://iamgem.com/calendar",headers=self.headers)

        # 使用BeautifulSoup解析
        bf = BeautifulSoup(res.text)

        # 获取日历信息项
        texts = bf.find_all('div', class_ = 'entry')

        # 遍历解析结果集，得到每一个信息项
        for item in texts:
            # 获取图片
            img=item.findNext('img').get('src')
            # 获取图片文件名
            imgname = item.findNext('img').get('src')
            index = 0
            if imgname.rfind('/') != -1:
                index = imgname.rfind('/') + 1
            imgname=imgname[index:]

            # 保存图片
            self.save_img(self.url+img,imgname)

            # 获取日历信息
            calendar=str(item.findNext('p')).replace('<p>','').replace('</p>','').replace('<br/>','').replace('<b>','\n').replace('</b>','\n')
            calendar=calendar.split('\n')

            # 保存到数据库
            # 使用cursor()方法获取操作游标
            cursor = self.db.cursor()

            # SQL 插入语句
            sql = """INSERT INTO calendar(calendar_img,
                     date, content, address)
                     VALUES ('%s', '%s', '%s', '%s')""" % (imgname,calendar[0],calendar[1],calendar[2])

            print(sql)

            try:
                # 执行sql语句
                cursor.execute(sql)
                # 提交到数据库执行
                self.db.commit()
            except:
                # 如果发生错误则回滚
                self.db.rollback()

        print('获取日历完成！')



    def get_about(self):
        print('正在获取艺人简介...')

        # 获取 about html网页
        res = requests.get(url="https://iamgem.com/about", headers=self.headers)

        # 使用BeautifulSoup解析
        bf = BeautifulSoup(res.text)

        # 获取about图片
        texts = bf.find_all('div', class_='col-sm-4 offset-sm-1 center')
        # 获取图片地址
        img = texts[0].findNext('img').get('src')
        # 获取图片文件名
        imgname = texts[0].findNext('img').get('src')
        index = 0
        if imgname.rfind('/') != -1:
            index = imgname.rfind('/') + 1
        imgname = imgname[index:]
        # 保存图片到本地
        self.save_img(self.url+img,imgname)
        # 保存到数据库
        # 使用cursor()方法获取操作游标
        cursor = self.db.cursor()

        cursor.execute("SELECT max(id) from about")
        data=cursor.fetchone()
        #获取id
        id = 1
        if data[0]!=None:

            id=data[0]+1

        # SQL 插入语句
        sql = """INSERT INTO about(id,about_img)
                             VALUES (%d,'%s')""" % (id,imgname)

        print(sql)

        try:
            # 执行sql语句
            cursor.execute(sql)

            # 提交到数据库执行
            self.db.commit()
        except:
            # 如果发生错误则回滚
            self.db.rollback()

        # 获取about内容
        p = bf.find_all('p')

        # 获取标题
        title = p[0].text.replace("<b>", "").replace("</b>", "")

        # 获取内容
        content = p[1].text.replace("<b>", "").replace("</b>", "")

        # SQL 插入语句
        sql = """INSERT INTO about_info(title,content,aid)
                                                 VALUES ("%s","%s",%d)""" % (title, content, id)
        print(sql)
        try:
            # 执行sql语句
            cursor.execute(sql)

            # 提交到数据库执行
            self.db.commit()
        except:
            # 如果发生错误则回滚
            self.db.rollback()

        # 获取标题
        title = p[2].text.replace("<b>", "").replace("</b>", "")
        # 获取内容
        content = p[3].text.replace("<b>", "").replace("</b>", "")

        # SQL 插入语句
        sql = """INSERT INTO about_info(title,content,aid)
                                                         VALUES ('%s','%s',%d)""" % (title, content, id)
        print(sql)

        try:
            # 执行sql语句
            cursor.execute(sql)

            # 提交到数据库执行
            self.db.commit()
        except:
            # 如果发生错误则回滚
            self.db.rollback()

    def get_tour(self):
        print('正在获取巡演信息...')

        # 获取 about html网页
        res = requests.get(url="https://iamgem.com/tour/", headers=self.headers)

        # 使用BeautifulSoup解析
        bf = BeautifulSoup(res.text)


        # 获取巡演结果集
        texts = bf.find_all('div', class_='col-12',style='height:100%;')

        for item in texts:
            div=item.findNext('div').find_all_next('div')

            # 获取图片地址
            img = item.findNext('img').get('src')

            # 获取图片文件名
            imgname = item.findNext('img').get('src')
            index = 0
            if imgname.rfind('/') != -1:
                index = imgname.rfind('/') + 1
            imgname = imgname[index:]
            # 保存图片到本地
            self.save_img(self.url + img, imgname)
            # 获取标题
            title = div[0].text.replace("<b>", "").replace("</b>", "")
            # 保存到数据库
            # 使用cursor()方法获取操作游标
            cursor = self.db.cursor()

            cursor.execute("SELECT max(id) from tour")
            data = cursor.fetchone()
            # 获取id
            id = 1
            if data[0] != None:
                id = data[0] + 1

            # SQL 插入语句
            sql = """INSERT INTO tour(id,tour_img,title)
                                         VALUES (%d,'%s','%s')""" % (id, imgname,title)

            print(sql)

            try:
                # 执行sql语句
                cursor.execute(sql)

                # 提交到数据库执行
                self.db.commit()
            except:
                # 如果发生错误则回滚
                self.db.rollback()

            #遍历巡回信息项

            divdate=item.findNext('div').find_all_next('div',class_='col-4 col-sm-2')
            addressdiv=item.findNext('div').find_all_next('div',class_="col-8 col-sm-4")
            for i in range(0,len(divdate)):

                # SQL 插入语句
                sql = """INSERT INTO tour_info(date,address,tid)
                                                                             VALUES ('%s','%s',%d)""" % (
                divdate[i].text.replace("<b>", "").replace("</b>", ""), addressdiv[i].text.replace("<b>", "").replace("</b>", ""), id)
                print(sql)

                try:
                    # 执行sql语句
                    cursor.execute(sql)

                    # 提交到数据库执行
                    self.db.commit()
                except:
                    # 如果发生错误则回滚
                    self.db.rollback()

        print('获取巡演信息完成！')

    def get_honour(self):
        print('正在获取荣誉信息...')

        # 获取 honour html网页
        res = requests.get(url="https://iamgem.com/honour/", headers=self.headers)

        # 使用BeautifulSoup解析
        bf = BeautifulSoup(res.text)

        #获取荣誉内容
        content = bf.find_all('div', class_='col-sm-2 col-12 p-4 p-sm-1')


        # 保存到数据库
        # 使用cursor()方法获取操作游标
        cursor = self.db.cursor()

        cursor.execute("SELECT max(id) from honour")
        data = cursor.fetchone()
        # 获取id
        id = 1
        if data[0] != None:
            id = data[0] + 1

        # SQL 插入语句
        sql = """INSERT INTO honour(id,content)
                                                 VALUES (%d,'%s')""" % (id, content[0].text.replace("<b>", "").replace("</b>", ""))

        print(sql)

        try:
            # 执行sql语句
            cursor.execute(sql)

            # 提交到数据库执行
            self.db.commit()
        except:
            # 如果发生错误则回滚
            self.db.rollback()


        # 获取荣誉结果集
        texts = bf.find_all('div', class_='grid-item')
        #遍历荣誉图片
        for item in texts:
            # 获取图片地址
            img = item.findNext('img').get('src')

            # 获取图片文件名
            imgname = item.findNext('img').get('src')
            index = 0
            if imgname.rfind('/') != -1:
                index = imgname.rfind('/') + 1
            imgname = imgname[index:]
            # 保存图片到本地
            self.save_img(self.url + img, imgname)

            # 保存到数据库
            # 使用cursor()方法获取操作游标
            cursor = self.db.cursor()

            # SQL 插入语句
            sql = """INSERT INTO honour_img(honour_img,hid)
                                                     VALUES ('%s',%d)""" % (imgname, id)

            print(sql)

            try:
                # 执行sql语句
                cursor.execute(sql)

                # 提交到数据库执行
                self.db.commit()
            except:
                # 如果发生错误则回滚
                self.db.rollback()


        print('获取荣誉信息完成！')

    def get_awards(self):
        print('正在获取奖项信息...')

        # 获取 awards html网页
        res = requests.get(url="https://iamgem.com/awards/", headers=self.headers)

        # 使用BeautifulSoup解析
        bf = BeautifulSoup(res.text)

        # 获取奖项结果集
        texts = bf.find_all('div', class_='tab-pane')
        #遍历奖项信息
        for item in texts:

            #获取日期
            date = item.get('id').replace('yr','')
            #获取内容
            content = item.text.replace("<b>", "").replace("</b>", "").replace("<p>", "").replace("</p>", "").replace("<h5>", "").replace("</h5>", "")
            # 保存到数据库
            # 使用cursor()方法获取操作游标
            cursor = self.db.cursor()

            # SQL 插入语句
            sql = """INSERT INTO awards(year,content)
                                                                 VALUES ('%s','%s')""" % (date, content)

            print(sql)

            try:
                # 执行sql语句
                cursor.execute(sql)

                # 提交到数据库执行
                self.db.commit()
            except:
                # 如果发生错误则回滚
                self.db.rollback()



        print('获取奖项信息完成！')

    def get_charity(self):
        print('正在获取公益信息...')

        # 获取 charity html网页
        res = requests.get(url="https://iamgem.com/charity/", headers=self.headers)

        # 使用BeautifulSoup解析
        bf = BeautifulSoup(res.text)

        # 获取公益内容
        content = bf.find_all('div', class_='col-sm-2 col-12 p-4 p-sm-1')

        # 保存到数据库
        # 使用cursor()方法获取操作游标
        cursor = self.db.cursor()

        cursor.execute("SELECT max(id) from charity")
        data = cursor.fetchone()
        # 获取id
        id = 1
        if data[0] != None:
            id = data[0] + 1

        # SQL 插入语句
        sql = """INSERT INTO charity(id,content)
                                                 VALUES (%d,'%s')""" % (
        id, content[0].text.replace("<b>", "").replace("</b>", ""))

        print(sql)

        try:
            # 执行sql语句
            cursor.execute(sql)

            # 提交到数据库执行
            self.db.commit()
        except:
            # 如果发生错误则回滚
            self.db.rollback()

        # 获取公益结果集
        texts = bf.find_all('div', class_='grid-item')
        # 遍历公益图片
        for item in texts:
            # 获取图片地址
            img = item.findNext('img').get('src')

            # 获取图片文件名
            imgname = item.findNext('img').get('src')
            index = 0
            if imgname.rfind('/') != -1:
                index = imgname.rfind('/') + 1
            imgname = imgname[index:]
            # 保存图片到本地
            self.save_img(self.url + img, imgname)

            # 保存到数据库
            # 使用cursor()方法获取操作游标
            cursor = self.db.cursor()

            # SQL 插入语句
            sql = """INSERT INTO charity_img(charity_img,cid)
                                                     VALUES ('%s',%d)""" % (imgname, id)

            print(sql)

            try:
                # 执行sql语句
                cursor.execute(sql)

                # 提交到数据库执行
                self.db.commit()
            except:
                # 如果发生错误则回滚
                self.db.rollback()

        print('获取公益信息完成！')

    def save_img(self,url,name):
        # 从网络上获取图片
        with closing(requests.get(url=url, headers=self.headers,stream=True)) as r:
            # 把图片保存到本地
            with open(name, 'ab+') as f:
                # 把图片写到文件
                for chunk in r.iter_content(chunk_size=1024):
                    if chunk:
                        f.write(chunk)
                        f.flush()

if __name__ == '__main__':
    craw = crawler()
    craw.init_db()
    craw.get_charity()
    craw.get_awards()
    craw.get_honour()
    craw.get_tour()
    craw.get_about()
    craw.get_calendar()
轻澜-诀袂
关注
专栏目录
Python_大众点评网站数据爬虫
07-19
eclipse pydev python 大众点评 非scrapy爬虫
Python爬虫框架Scrapy教程 完整版PDF
04-06
《Python爬虫框架Scrapy教程》主要是针对学习python爬虫的课程，又基础的python爬虫框架scrapy开始，一步步学习到最后完整的爬虫完成，现在python爬虫应用的非常广泛，本文档详细介绍了scrapy爬虫和其他爬虫技术的...
Python爬虫详解：原理、常用库与实战案例
qq_56262770的博客
07-16 3170
1.什么是爬虫爬虫（Spider），也被称为网络爬虫或网络蜘蛛，是一种自动化程序，用于在互联网上浏览和提取信息。爬虫通过模拟人类用户访问网页的行为，从网页中提取数据并将其存储或进行进一步处理。爬虫可以自动遍历互联网上的各个网页，并根据预设的规则和算法来解析和收集感兴趣的信息。这些信息可以包括网页的文本内容、图片、链接、视频等等。爬虫可以用于很多领域，例如搜索引擎的网页索引、数据挖掘、自动化测试、价格比较、舆情监测等等。
大众点评爬虫(Python)
L_huiger的博客
11-08 2674
大众点评爬虫文档 一，开发环境 1， Scrapy-redis爬虫框架 2， pycharm开发工具 二，项目创建 1，创建项目：scrapy startproject +项目名称 2，创建爬虫：scrapy genspider +爬虫文件名 + 允许爬取的网站域名 三，修改配置文件 1，在配置文件settings.py文件中添加USER_AGENT参数，不添加UA参数无法获取到页面，先复制使...
5行Python就能爬取 3000+ 上市公司的信息？
2401_86071417的博客
08-26 1050
初版代码由于固定了 URL 参数，所以只能爬取固定的内容，但是人的想法是多变的，一会儿想爬这个一会儿可能又需要那个，所以可以通过修改 URL 请求参数，来增加代码灵活性，从而爬取更灵活的数据。书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。这个过程觉得很自然，因为每次修改都是针对一个小点，一点点去学，搞懂后添加进来，而如果让你上来就直接写出这几十行的代码，你很可能就放弃了。
Python语言-编写一个网络爬虫程序，将文字和图像等信息抓取到sqlite中保存（实时爬取微博热搜数据）
程序员本员
06-26 483
import requests from bs4 import BeautifulSoup import sqlite3 def opendb(): con = sqlite3.connect("D:/realtimehot.db") cur = con.execute("""create table if not exists realtimehot(snum text primary key, swords text, slink text)""") return cur,
python爬虫实战一|大众点评网
向阳-Y.的博客
10-14 5449
1、请求 网页数据在哪里？发现网址url规律 2、请求 如何获取网页数据 先尝试使用requests成功访问一个url，拿到一个页面数据 3、解析 从html中定义需要的数据 使用pyquery对这一个页面的网页数据进行解析 从json中定位需要的数据 使用json或resp.json()进行json网页数据解析 4、存储 如何存储数据 使用csv库将数据存储到csv文件中
Python3 实现大众点评网酒店信息和酒店评论的网页爬取
LeiGaiceong的博客
11-16 9791
Python3 实现大众点评网酒店信息和酒店评论的网页爬取概要本文根据已有的的”大众点评网”酒店主页的URL地址，自动抓取所需要的酒店的名称、图片、经纬度、酒店价格、星级评分、用户评论数量以及用户评论的用户ID、用户名字、评分、评论时间等，并且将爬取成功的内容存放到.txt文档中。本文是在博文http://blog.csdn.net/drdairen/article/details/51146961
Python爬虫：大众点评评论、评分、图片信息爬取（含源码）
最新发布
gitblog_09732的博客
10-12 1600
Python爬虫：大众点评评论、评分、图片信息爬取（含源码） Python爬虫大众点评评论评分图片信息爬取含源码 本资源文件提供了一个完整的Python爬虫项目，用于爬取大众点评网站中的所有评论、评分、图片信息。项目包含详细的源代码，帮助你快速理解和实现爬取过程 ...
Python爬虫JS逆向进阶课程-课程网盘链接提取码下载 .txt
06-08
这门课程是Python爬虫JS逆向进阶课程，将教授学员如何使用Python爬虫技术和JS逆向技术获取网站数据。学习者将学习如何分析网站的JS代码，破解反爬虫机制，以及如何使用Selenium和PhantomJS等工具进行模拟登录和数据...
电影天堂上的Python爬虫源码.zip
08-26
电影天堂上的Python爬虫源码.zip电影天堂上的Python爬虫源码.zip电影天堂上的Python爬虫源码.zip电影天堂上的Python爬虫源码.zip电影天堂上的Python爬虫源码.zip电影天堂上的Python爬虫源码.zip电影天堂上的Python...
大众点评爬虫
08-15
java大众点评数据爬取，大众点评商户信息爬取，使用代理防止被ban
python抓取51job职位信息，保存到csv及mysql中
07-21
使用python抓取51job职位文件，优化了代码，保存到csv及mysql数据库中，供初学者参考
python爬虫从入门到精通（模块）
03-17
这份文档旨在帮助想要学习Python爬虫的初学者，从入门到精通逐步提升自己的技能。以下是我们将要涵盖的主题： ## 入门篇 1. Python爬虫简介 2. Requests库的使用 3. Beautiful Soup库的使用 4. 爬虫实战：爬取百度...
python爬虫课件+代码.zip
07-25
Python爬虫技术是一种用于自动化网络数据获取的编程技术，它在大数据分析、网站维护、市场研究等领域具有广泛应用。本课程由“路飞学城樵夫”老师指导，通过实际操作帮助学习者掌握Python爬虫的基本原理和实战技巧。...
python爬虫实战一|大众点评网（2）
向阳-Y.的博客
10-18 1669
1.发现网址url规律 generate_urls获取点评网每一页page连接 def generate_urls(limit=50): urls=[] template='http://www.dianping.com/shanghai/hotel/p{page}' for p in range(1,limit+1): url=template.format(page=p) urls.append(url) return urls generate_urls(limit=50) 2.拿到
python编写网络爬虫程序
西二旗小码农
04-06 2792
工作了，需要抓取一些特定的资源进行分析。没有高速海量数据那么大的需求。所以想到用python直接写一个简单的爬虫，之后再编写模板进行定向解析，就解决问题了。毕竟我们的时间要求和数量级要求不是很高。     在网上搜索了一些python编写爬虫的文档，下载下来试试，看看效果。虽然我的这篇文章标明是原创，但是文章中也有一部分是参考了别人的信息，请谅解。因为我是想参考别人的精华，组合重构，来实现我需要
python爬取大众点评数据_小试Python——爬虫抓取大众点评上的数据
weixin_39606244的博客
11-20 1195
碎碎念：最近一直在忙着科研搞毕设，博客好久木有更新了。某一天妹子突然说要让我帮她写个爬虫，貌似在她眼里，所有和电脑相关的事儿，程序员都能搞的定…….哈哈，作为一个立志要改变世界的程序员，用Python写爬虫当然是so easy的一件事！废话不多说，直接上正文吧。1、目标爬取大众点评上“武汉”这个城市下面所有齿科医院的地址。 2、基本思路首先，你先想想自己作为一个人是如何去完成这件事的呢？括号内为爬...
Python爬取上万条大众点评数据，解读一线快餐品牌背后的秘密
Python大本营的博客
04-12 757
中国的快餐市场竞争一直都很激烈，关于各种品牌江湖上也流传着各种神奇的故事，那么你知道一线城市最多的快餐品牌是哪家？沙县小吃真的是中国餐饮巨头吗？每一家肯德基边上都有一家麦当劳是不是真的？星...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

轻澜-诀袂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值