Python爬虫实战六之抓取爱问知识人问题并保存至数据库

最新推荐文章于 2024-05-19 10:24:21 发布
最新推荐文章于 2024-05-19 10:24:21 发布
阅读量551 收藏
点赞数
分类专栏： 爬虫
  • Urllib的用法及异常处理
  • Beautiful Soup的简单应用
  • MySQLdb的基础用法

框架思路

首先我们随便找一个分类地址，外语学习 – 爱问知识人，打开之后可以看到一系列的问题列表。

我们在这个页面需要获取的东西有：

总的页码数，每一页的所有问题链接。

接下来我们需要遍历所有的问题，来抓取每一个详情页面，提取问题，问题内容，回答者，回答时间，回答内容。

最后，我们需要把这些内容存储到数据库中。

要点简析

1.日志输出

日志输出，我们要输出时间和爬取的状态，比如像下面这样：

[2015-08-10 03:05:20] 113011 号问题存在其他答案 我个人认为应该是樱桃沟很美的

[2015-08-10 03:05:20] 保存到数据库,此问题的ID为 113011

[2015-08-10 03:05:20] 当前爬取第 2 的内容,发现一个问题 百度有一个地方，花儿带着芳香，水儿流淌奔腾是什么意思 多多帮忙哦 回答数量 1

[2015-08-10 03:05:19] 保存到数据库,此问题的ID为 113010

所以，我们需要引入时间函数，然后写一个获取当前时间的函数

import time
 
#获取当前时间
def getCurrentTime(self):
    return time.strftime('[%Y-%m-%d %H:%M:%S]',time.localtime(time.time()))
    
#获取当前时间
def getCurrentDate(self):
    return time.strftime('%Y-%m-%d',time.localtime(time.time()))

然后我们需要将缓冲区设置输出到log中

f_handler=open('out.log', 'w') 
sys.stdout=f_handler

这样，所有的print语句输出的内容就会保存到out.log文件中了。

4.保存到数据库

在这里，想实现一个通用的方法，就是把存储的一个个内容变成字典的形式，然后执行插入语句的时候，自动构建对应的sql语句，插入数据。

#构造最佳答案的字典
good_ans_dict = {
        "text": good_ans[0],
        "answerer": good_ans[1],
        "date": good_ans[2],
        "is_good": str(good_ans[3]),
        "question_id": str(insert_id)
        }

构造sql语句并插入到数据库的方法如下：

#插入数据
def insertData(self, table, my_dict):
     try:
         self.db.set_character_set('utf8')
         cols = ', '.join(my_dict.keys())
         values = '"," '.join(my_dict.values())
         sql = "INSERT INTO %s (%s) VALUES (%s)" % (table, cols, '"'+values+'"')
         try:
             result = self.cur.execute(sql)
             insert_id = self.db.insert_id()
             self.db.commit()
             #判断是否执行成功
             if result:
                 return insert_id
             else:
                 return 0
         except MySQLdb.Error,e:
             #发生错误时回滚
             self.db.rollback()
             #主键唯一，无法插入
             if "key 'PRIMARY'" in e.args[1]:
                 print self.getCurrentTime(),"数据已存在，未插入数据"
             else:
                 print self.getCurrentTime(),"插入数据失败，原因 %d: %s" % (e.args[0], e.args[1])
     except MySQLdb.Error,e:
         print self.getCurrentTime(),"数据库错误，原因%d: %s" % (e.args[0], e.args[1])

这里我们只需要传入那个字典，便会构建出对应字典键值和键名的sql语句，完成插入。

5.PHP读取日志

将运行结果输出到了日志里，那么怎么查看日志呢？很简单，在这里提供两种方法

方法一：

PHP倒序输出所有日志内容

<html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="refresh" content = "5"> 
    </head>
    <body>
        <?php
            $fp = file("out.log");
            if ($fp) {
                for($i = count($fp) - 1;$i >= 0; $i --) 
                echo $fp[$i]."<br>";
            }
        ?>
    </body>
</html>

此方法可以看到所有的输入日志，但是如果日志太大了，那么就会报耗费内存太大，无法输出。为此我们就有了第二种方法，利用linux命令，输出后十行内容。

方法二：

<html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="refresh" content = "5"> 
    </head>
    <body>
        <?php 
            $ph = popen('tail -n 100 out.log','r');
            while($r = fgets($ph)){
                echo $r."<br>";
            }
            pclose($ph);
        ?>
    </body>
</html>

上面两种方法都是5秒刷新一次网页来查看最新的日志。

源代码放送

spider.py

# -*- coding:utf-8 -*-
 
import urllib
import urllib2
import re
import time
import types
import page
import mysql
import sys
from bs4 import BeautifulSoup
 
class Spider:
    
    #初始化
    def __init__(self):
        self.page_num = 1
        self.total_num = None
        self.page_spider = page.Page()
        self.mysql = mysql.Mysql()
        
    #获取当前时间
    def getCurrentTime(self):
        return time.strftime('[%Y-%m-%d %H:%M:%S]',time.localtime(time.time()))
    
    #获取当前时间
    def getCurrentDate(self):
        return time.strftime('%Y-%m-%d',time.localtime(time.time()))
    
    #通过网页的页码数来构建网页的URL

page.py

# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
import time
import types 
import tool
from bs4 import BeautifulSoup
 
#抓取分析某一问题和答案
class Page:
    
    def __init__(self):
        self.tool = tool.Tool()
    
    #获取当前时间
    def getCurrentDate(self):
        return time.strftime('%Y-%m-%d',time.localtime(time.time()))
    
    #获取当前时间
    def getCurrentTime(self):
        return time.strftime('[%Y-%m-%d %H:%M:%S]',time.localtime(time.time()))
 
    #通过页面的URL来获取页面的代码
    def getPageByURL(self, url):
        try:
            request = urllib2.Request(url)
            response = urllib2.urlopen(request)
            return response.read().decode("utf-8") 
        except urllib2.URLError, e:

tool.py

#-*- coding:utf-8 -*-
import re
 
#处理页面标签类
class Tool:
    
    #将超链接广告剔除
    removeADLink = re.compile('<div class="link_layer.*?</div>')
    #去除img标签,1-7位空格,&nbsp;
    removeImg = re.compile('<img.*?>| {1,7}|&nbsp;')
    #删除超链接标签
    removeAddr = re.compile('<a.*?>|</a>')
    #把换行的标签换为\n
    replaceLine = re.compile('<tr>|<div>|</div>|</p>')
    #将表格制表<td>替换为\t
    replaceTD= re.compile('<td>')
    #将换行符或双换行符替换为\n
    replaceBR = re.compile('<br><br>|<br>')
    #将其余标签剔除
    removeExtraTag = re.compile('<.*?>')

mysql.py

# -*- coding:utf-8 -*-
 
 
import MySQLdb
import time
 
class Mysql:
    
    #获取当前时间
    def getCurrentTime(self):
        return time.strftime('[%Y-%m-%d %H:%M:%S]',time.localtime(time.time()))
    
    #数据库初始化
    def __init__(self):
        try:
            self.db = MySQLdb.connect('ip','username','password','db_name')
            self.cur = self.db.cursor()
        except MySQLdb.Error,e:
             print self.getCurrentTime(),"连接数据库错误，原因%d: %s" % (e.args[0], e.args[1])
 
    #插入数据
    def insertData(self, table, my_dict):
         try:
             self.db.set_character_set('utf8')
             cols = ', '.join(my_dict.keys())
             values = '"," '.join(my_dict.values())
             sql = "INSERT INTO %s (%s) VALUES (%s)" % (table, cols, '"'+values+'"')
             try:
                 result = self.cur.execute(sql)
                 insert_id = self.db.insert_id()
                 self.db.commit()
                 #判断是否执行成功
                 if result:
                     return insert_id
                 else:
                     return 0
             except MySQLdb.Error,e:
                 #发生错误时回滚
                 self.db.rollback()
                 #主键唯一，无法插入
                 if "key 'PRIMARY'" in e.args[1]:
                     print self.getCurrentTime(),"数据已存在，未插入数据"
                 else:
                     print self.getCurrentTime(),"插入数据失败，原因 %d: %s" % (e.args[0], e.args[1])
         except MySQLdb.Error,e:
             print self.getCurrentTime(),"数据库错误，原因%d: %s" % (e.args[0], e.args[1])

数据库建表SQL如下：

CREATE TABLE IF NOT EXISTS `iask_answers` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增ID',
  `text` text NOT NULL COMMENT '回答内容',
  `question_id` int(18) NOT NULL COMMENT '问题ID',
  `answerer` varchar(255) NOT NULL COMMENT '回答者',
  `date` varchar(255) NOT NULL COMMENT '回答时间',
  `is_good` int(11) NOT NULL COMMENT '是否是最佳答案',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8;
 
CREATE TABLE IF NOT EXISTS `iask_questions` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '问题ID',
  `text` text NOT NULL COMMENT '问题内容',
  `questioner` varchar(255) NOT NULL COMMENT '提问者',
  `date` date NOT NULL COMMENT '提问时间',
  `ans_num` int(11) NOT NULL COMMENT '回答数量',
  `url` varchar(255) NOT NULL COMMENT '问题链接',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8;

运行的时候执行如下命令即可：nohup python spider.py & 

运行结果查看

我们把PHP文件和log文件放在同一目录下，运行PHP文件，便可以看到如下的内容：

土戈
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫进阶之多线程爬取数据并保存到数据库
12-21
今天刚看完崔大佬的《python3网络爬虫开发实战》，顿时觉得自己有行了，准备用appium登录QQ爬取列表中好友信息，接踵而来的是一步一步的坑，前期配置无数出错，安装之后连接也是好多错误，把这些错误解决之后，找APPactivity的值又让我绕了一大圈，找到值后又在权限上无法授权。 正当我手足无措的准备放弃的时候，我突然看到Charles，可以直接对APP抓包，在配置上有事一步一个坑后，当我准备抓取抖音视频评论的时候一堆乱码，我反手就是一巴掌 为了避免这种尴尬，以及我突然想写博客的心情，我决定还是为大家在进行一次简易爬虫展示，总体程序我会利用多线程的方式来充分利用CPU的空闲时间，其中我也
Python网络爬虫基础教程及项目实战
04-19
**Python网络爬虫基础教程及项目实战** 网络爬虫是一种自动化获取网页信息的程序，它通过模拟人类浏览器的行为，向服务器发送HTTP请求，接收并解析返回的HTML文档，从而实现大规模数据的抓取。在Python中，由于其...
Python_使用同花顺问财接口
u014496893的博客
05-19 466
如果发现找不到对应的sdk，编辑pyvenv.cfg文件，将里面的路径替换成利的python安装路径。python官网地址：https://www.python.org/安装好对应的sdk之后进入到pycharm软件开发页面，选择好编译器。node版本地址：https://nodejs.org/dist/安装nodejs，版本大于16。安装的python是3.10版。安装同花顺问财pywencai。之后在python环境里面。
python数据库抓取并保存_Python爬虫实战六之抓取爱问知识人问题并保存至数据库...
weixin_39956009的博客
12-08 153
大家好，本次为大家带来的是抓取爱问知识人的问题并将问题和答案保存到数据库的方法，涉及的内容包括：Urllib的用法及异常处理Beautiful Soup的简单应用MySQLdb的基础用法正则表达式的简单应用环境配置在这之前，我们需要先配置一下环境，我的Python的版本为2.7，需要额外安装的库有两个，一个是Beautiful Soup，一个是MySQLdb，在这里附上两个库的下载地址，大家可以下...
python爬取选股宝(https://xuangubao.cn)之二度尝试
m0_38023994的博客
06-14 4930
大家好，我是一名大二计算机学生。面临期末，Python如期也给出了大作业----爬虫！在此之前，我和很多人一样，初次面对爬虫，对爬虫一无所知。因此，在爬取选股宝该网站的时候，做了2次尝试，收获良多，学到了很多知识，在此分享给大家一起学习。 在此声明，以下代码是在python3.7环境中写出来的。注意：有些网页为了防止别人恶意采集其信息所以进行了一些反爬虫的设置，而我们又想进行爬取。解决方法：   ...
Python爬虫开发与项目实战（PPT教程文档）
最新发布
06-20
Python爬虫开发与项目实战是针对想要学习和深入理解Python网络数据抓取技术的一个全面教程。这个PPT教程文档旨在帮助初学者和有一定基础的开发者掌握如何利用Python编写高效的网络爬虫，以及如何将所学应用到实际...
Python爬虫工程师方方面面的知识.txt打包整理.zip
03-04
在Python爬虫实战中，数据存储也是重要环节。数据可能以JSON、CSV或数据库（如SQLite、MySQL）的形式保存。理解这些格式，以及如何使用Python的pandas库进行数据清洗和分析，能够提升数据处理的效率。 此外，爬虫...
《Python3网络爬虫开发实战代码》_python3_creaturerl3_python3爬虫_python_
09-29
《Python3网络爬虫开发实战代码》这本书通过理论与实践结合的方式，全面讲解了Python3爬虫的各个方面，包括基础语法、网络请求、网页解析、数据存储以及安全测试，为读者提供了丰富的知识和技术储备，是Python爬虫...
python爬虫实战练习手册-dianping_data.zip
01-30
《Python爬虫实战练习手册——大众点评数据》 在当今数据驱动的时代，Python爬虫技术已成为获取网络数据的重要工具。本实战手册以“大众点评”网站为例，详细讲解了如何利用Python进行网络数据抓取、处理与分析。...
爱问知识人小偷天宇免费版 v3.0
10-26
新浪爱问知识人小偷天宇试用版V3.0 v3.0版本更新： 1.新增首页分类列表调用条数 2.新增缓存功能 3.新增全站伪原创 4.自定义二级目录功能 5.自定义内容页名称功能
Python-Python爬虫小脚本爬搜狐新闻列表存入数据库爬新闻新闻采集
08-10
Python,爬虫,小脚本,爬搜狐新闻列表存入数据库,爬新闻,新闻采集
python爬取数据实践，以及趟过的坑
wo_kao_a_的专栏
11-09 501
1.总体流程 总体思路是：先爬下所有的百度知道的搜索结果页面中的链接，有了链接再继续爬链接里的页面数据。 核心流程如下： Created with Raphaël 2.2.0开始输入关键词和页数获取当前关键词所有网页url遍历的单个网页url获取单个网页数据当前数据不为空？加进data_all遍历了当前关键词所有链接?存入csv结束yesnoyesno 获取url 主要是爬百度知道，搜的链接，待会...
【从零开始玩量化5】Python程序获取同花顺问财数据
热门推荐
量化投资助手的博客
05-29 1万+
最近好几个兄弟反馈问财做了最大分页数的限制，无法查询所有数据了，我最近抽空处理了一下，现在把结果写在这里。处理分页用到的代码较多，我就不全部贴了，我把功能封装成了一个python包pywencai，放到Github上了，感兴趣的可以去获取。详细用法可以去上边的地址看，我这里写下示例。
从零起步python爬虫
11-04
从零开始学习爬虫内容涉及各种爬虫技术，正则表达式爬虫，xpath爬虫，scrapy爬虫等让大家用最少的时间学会爬虫
同花顺问财选股python源码
qq_20575249的博客
11-22 9755
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、使用步骤1.引入库2.完整代码 前言 提示：同花顺网js加密动态生成请求中所需要的cookie 提示：以下是本篇文章正文内容，下面案例可供参考 一、使用步骤 1.引入库 import execjs import requests import json 2.完整代码 代码如下（示例）： import execjs import requests import json with open('./xu.js', 'r')
问财爬虫Python第三方包，仅供学习使用
沐叔
04-09 5079
最近github有人提了一些issue，都给修复了，没事更新一个版本看看。 wencai是i问财的策略回测接口的Pythonic工具包，满足量化爱好者和数据分析师在量化方面的需求。 项目地址 https://github.com/GraySilver/wencai-master Dependencies Python 2.x/3.x requests>=2.14.2 pandas>=0.18.1 beautifulsoup4>=4.5.1 Installation 方式1：pip i
一个Pythonic的i问财量化策略工具包——wencai
沐叔
12-02 7152
wencai是i问财的策略回测接口的Pythonic工具包，满足量化爱好者和数据分析师在量化方面的需求。 项目地址https://github.com/GraySilver/wencai-master。
基于python爬虫对百度贴吧进行爬取的设计与实现.docx
10-26
- 研究目的：明确指出目标是设计并实现一个Python爬虫，以便于获取和处理百度贴吧的用户生成内容。 - 研究方法：概述了采用的Python爬虫技术和框架，如Scrapy，以及可能遇到的挑战，如处理登录、验证码等。 2. **...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值