抓取爱问知识人问题，保存至数据库。

最新推荐文章于 2022-07-15 23:11:33 发布
最新推荐文章于 2022-07-15 23:11:33 发布
阅读量474 收藏
点赞数 1
分类专栏： python与爬虫 mysql 文章标签： python MYSQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Waterkong/article/details/73017325
版权

新手上路，欢迎批评。博客暂时只为记录学习过程。

抓取结果：

整体思路：

1.链接数据库并建好一张表。要存储以下信息，问题，回答者，回答时间，回答内容。

def createtable():
	# 打开数据库连接
	db = pymysql.connect("localhost","root","sql123","likelearn", charset='utf8' )
	# 使用 cursor() 方法创建一个游标对象 cursor
	cursor = db.cursor()
	# 使用 execute() 方法执行 SQL，如果表存在则删除
	cursor.execute("DROP TABLE IF EXISTS goodAnswer")
	# 使用预处理语句创建表
	sql = """CREATE TABLE goodAnswer(
         question text not null,
         a_name varchar(20) not null,
         a_time varchar(20) not null,
         a_content text not null) CHARSET=utf8 """
	cursor.execute(sql)
    # 关闭数据库连接
	db.close()

2.抓取一个问题汇总页面  http://iask.sina.com.cn/c/74-goodAnswer-1-new.html   写一个函数geturls()获取该页面上指向其他问题汇总页面的链接，存储在全局变量 pageurls 中。

注释掉的最后一行，是递归抓取整个100页的所有问题汇总页面的链接，这里我只抓取了1，2,3,100这四个页面。

def geturls(url):
	global pageurls
	url = "http://iask.sina.com.cn/" + str(url)
	print(url)
	req = getpage(url)
	soup = BeautifulSoup(req.text,"html.parser")
	hrefs = soup.find("div",{"class":"page mt30"}).find_all("a")
	for pageurl in hrefs:
		if "href" in pageurl.attrs:
			if pageurl["href"] not in pageurls:
				pageurls.append(pageurl["href"])
				# geturls(pageurl["href"])

 3.两层循环，第一层循环变量pageurls，每次获得一个问题汇总页面，并且用函数 getlinks() 获得该页面上的所有具体问题的链接。

                         第二层抓取具体问题回答的页面，并且用函数 getdetail() 获得最好回答的的各个字段。

# 获取页面的所有问题链接
def getlinks(soup):
	temp = soup.find_all("div",{"class":"question-title"})
	links = []
	for link in temp:
		links.append(link.a["href"])
	return links
  
# 获取问题的回答者，回答时间回答内容 
def getdetail(soup):
	item = []
	#获取回答者的名字
	a_name = soup.find("div", {"class":"answer_tip"})
	if a_name == None:
		a_name = " "
	else:
		a_name = a_name.a
	#获取回答时间
	a_time = soup.find("div", {"class":"answer_tip"})
	if a_time == None:
		a_time = " "
	else:
		a_time = a_time.span
    #获取回答内容
	a_content = soup.find("div",{"class":"answer_text"})
	if a_content == None:
		a_content = " "
	elif soup.find("div",{"class":"answer_text"}).find("div",{"style":"display: none"}) == None:
		a_content = soup.find("div",{"class":"answer_text"})
	else:
		a_content = soup.find("div",{"class":"answer_text"}).find("div",{"style":"display: none"})
	ques = soup.find("div", {"class":"question_text"})
	item.append(tool(ques))
	item.append(tool(a_name) )
	item.append(tool(a_time) )
	item.append(tool(a_content) )
	return item
 4. 链接数据库，将抓取到的各个字段存储在已经建好的表 goodAnswer 中。

插入方法参考：   http://www.runoob.com/python3/python3-mysql.html

以下是全部代码：

# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
import re
import pymysql
import time
# 用来存储页面的url
pageurls = []

# 获取一个页面
def getpage(url):
	headers = {'user-agent':  'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}
	req = requests.get(url, headers = headers)
	if req.status_code == 200:
		pass
	else:
		print("获取失败，请检查URL:", url)
	return req

# 获取页面的所有问题链接
def getlinks(soup):
	temp = soup.find_all("div",{"class":"question-title"})
	links = []
	for link in temp:
		links.append(link.a["href"])
	return links

# 获取所有的页面链接
def geturls(url):
	global pageurls
	url = "http://iask.sina.com.cn/" + str(url)
	print(url)
	req = getpage(url)
	soup = BeautifulSoup(req.text,"html.parser")
	hrefs = soup.find("div",{"class":"page mt30"}).find_all("a")
	for pageurl in hrefs:
		if "href" in pageurl.attrs:
			if pageurl["href"] not in pageurls:
				pageurls.append(pageurl["href"])
				# geturls(pageurl["href"])

# 获取问题的回答者，回答时间回答内容 
def getdetail(soup):
	item = []
	#获取回答者的名字
	a_name = soup.find("div", {"class":"answer_tip"})
	if a_name == None:
		a_name = " "
	else:
		a_name = a_name.a
	#获取回答时间
	a_time = soup.find("div", {"class":"answer_tip"})
	if a_time == None:
		a_time = " "
	else:
		a_time = a_time.span
    #获取回答内容
	a_content = soup.find("div",{"class":"answer_text"})
	if a_content == None:
		a_content = " "
	elif soup.find("div",{"class":"answer_text"}).find("div",{"style":"display: none"}) == None:
		a_content = soup.find("div",{"class":"answer_text"})
	else:
		a_content = soup.find("div",{"class":"answer_text"}).find("div",{"style":"display: none"})
	ques = soup.find("div", {"class":"question_text"})
	item.append(tool(ques))
	item.append(tool(a_name) )
	item.append(tool(a_time) )
	item.append(tool(a_content) )
	return item

# 清理不必要的标签和特殊符号
def tool(x):
	x = str(x)
	replaceBR = re.compile('<pre>|</pre>')
	removeImg = re.compile('<span.*?>|</span>" "*?|</span>')
	replaceLine = re.compile('<div.*?>|</div>')
	removeAddr = re.compile('<a.*?>|</a>')
	removespace = re.compile('\s*')
	removete = re.compile('\W')
	x = re.sub(replaceBR,"",x)
	x = re.sub(removeImg,"",x)
	x = re.sub(replaceLine,"",x)
	x = re.sub(removeAddr,"",x)
	x = re.sub(removespace,"",x)
	x = re.sub(removete,"",x)
	return x

def createtable():
	# 打开数据库连接
	db = pymysql.connect("localhost","root","sql123","likelearn", charset='utf8' )
	# 使用 cursor() 方法创建一个游标对象 cursor
	cursor = db.cursor()
	# 使用 execute() 方法执行 SQL，如果表存在则删除
	cursor.execute("DROP TABLE IF EXISTS goodAnswer")
	# 使用预处理语句创建表
	sql = """CREATE TABLE goodAnswer(
         question text not null,
         a_name varchar(20) not null,
         a_time varchar(20) not null,
         a_content text not null) CHARSET=utf8 """
	cursor.execute(sql)
    # 关闭数据库连接
	db.close()

# 逻辑控制主函数
def main():
    # 链接数据库操作数据库
	db = pymysql.connect("localhost","root","sql123","likelearn", charset='utf8')
	# 使用 cursor() 方法创建一个游标对象 cursor
	cursor = db.cursor()

	# 为了简洁我只抓取第 1 2 3 100 这四个页面的 url
	geturls("/c/74-goodAnswer-1-new.html") 
	# 遍历四个 url 抓取页面
	for url in pageurls:
		page = getpage("http://iask.sina.com.cn" + str(url))
		soup = BeautifulSoup(page.text,"html.parser")
		print("获得该页面所有问题的链接", "http://iask.sina.com.cn" + str(url)) 
		links = getlinks(soup)
		# 遍历每个该页面的所有问题链接
		for link in links:
			print("获得goodAnswer页面详情",link) 
			a_page = getpage("http://iask.sina.com.cn/" + str(link))
			a_soup = BeautifulSoup(a_page.text, "html.parser")
			print("获得问题最好回答的各个信息段") 
			a_item = getdetail(a_soup)
			# #SQL 插入语句
			sql = "INSERT INTO goodAnswer(question, a_name, a_time, a_content)VALUES ('%s', '%s',  '%s', '%s')"%(a_item[0], a_item[1], a_item[2],a_item[3])
			try:
				print("# 执行 sql 语句")
				cursor.execute(sql)
				print("# 提交到数据库执行") 
				db.commit()
			except:
				print("# 发生错误回滚") 
				db.rollback()
			time.sleep(2)
	# 关闭数据库连接
	db.close()
createtable()
main()



Waterkong
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
威胁抓取工具：一种现代的威胁抓取工具
02-12
该工具将这些威胁保存在多个不同的数据库中，并使用REST API进行数据外发 用法 怎么跑 要在本地计算机上运行它： make run 更改端口和配置 所有配置都在目录“ config”中的配置文件中。 您可以在此处添加自己的...
用SQL Server为Web浏览器提供图像
cunzhangxp的专栏
04-12 1223
微软SQL Server数据库服务器能够在SQL数据库里保存图片和大量的文本。图片和文本使用的数据类型分别是image图片类型和text文本类型。假如使用VB或VC开发前端应用程序，在windows操作系统上运行，那么可以容易地从SQL数据库里提取图片数据，把它放入一个文件，并在屏幕上显示出来。但是，要是想从SQL Server得到图片，并在Web浏览器里显示，就不那么容易了。虽然在微软SQL S
mysql插入图片代码,MySQL插入图片有关问题
weixin_42429109的博客
03-18 73
MySQL插入图片问题packagecom.wow.lob;importjava.io.File;importjava.io.FileInputStream;importjava.io.InputStream;importjava.net.URL;importjava.sql.Connection;importjava.sql.PreparedStatement;importjav...
mysql 插入语句语法_SQL 插入数据（INSERT INTO 语句）
weixin_42414212的博客
01-27 1万+
SQL 插入数据(INSERT INTO 语句)在本教程中，您将学习如何使用SQL在数据库表中插入记录。在表中插入数据在上一章中，我们在演示数据库中创建了一个名为person的表。现在是时候在我们新创建的数据库表中插入一些数据了。INSERT INTO语句用于在数据库表中插入新行。语法用于将数据插入表的基本语法可以通过以下方式给出：INSERTINTOtable_name(column1,c...
Python爬虫实战（一）：翻页爬取数据存入SqlServer
热门推荐
努力让自己发光，对的人才能迎着光而来
11-15 5万+
python爬虫实战基础
从数据库取数据
Liulelelele_的博客
07-15 787
从数据库取数据
语雀爬虫 可以保存整个语雀知识库为Markdown格式 (包含完整目录结构和索引).zip
最新发布
03-25
爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL...
Oracle SQL高级编程(资深Oracle专家力作，OakTable团队推荐)--随书源代码
02-04
5.1 问出好的问题 116 5.2 提问的目的 117 5.3 问题的种类 117 5.4 关于问题的问题 119 5.5 关于数据的问题 121 5.6 建立逻辑表达式 126 5.7 小结 136 第6章 SQL执行计划 137 6.1 解释计划 137 6.1.1 使用...
OA系统+手机版源码t源代码
12-06
工作监控---管理员监控运行，发现问题，可强制干预 归档工作---已办理完成的工作，自动进行归档 工作委托 --- 当前用户指定办理人，所有待办事项自动提交到委托人办理 流程设置 --- 自定义流程、自定义表单、...
抓取国家统计局2016地址数据库
11-03
抓取地址库脚本，mysql数据库，省市县镇村，并未包含港澳台，执行脚本时建议查看readme文件。
[自己开发]一款非常好用的抓取Oracle数据库SQL语句的工具
08-30
Oracle SQL Profiler，自己设计算法写的一款非常好用的抓取Oracle数据库SQL语句的工具，可以再没有源码的情况下监控ORACLE数据库服务器的v$sqlarea视图抓取出从点击开始按钮到点击结束按钮期间执行过的SQL语句。执行OracleSqlProfiler.exe即可，点击第2个菜单按钮。结果可以输出到Oracle表中（表名自己设置），也可只跟踪当前用户，效果图见result.png。
数据库抽取工具
08-09
数据库抽取工具，数据库间的数据的转移。不会修改表结构。
Python爬取百度贴吧帖子
Waterkong的博客
05-29 1004
首先贴自己遇到的问题： 'gbk' codec can't encode character '\u20af' in position 566: illegal multibyte sequence 解决办法：http://www.cnblogs.com/feng18/p/5646925.html  这个文章很清晰。 这个解决了 print 问题，但解决不了 wirte 问题。只抓取楼主
urllib 与 requests 分别搭配 beautifulsoup 的不同写法
Waterkong的博客
05-27 909
使用 urllib ，代码如下： from urllib import request from bs4 import BeautifulSoup url = 'http://www.qiushibaike.com/text/page/1' req = request.Request(url) req.add_header('User-Agent', 'Mozilla/4.0 (compa
Python爬虫爬取糗事百科段子
Waterkong的博客
05-27 600
代码有可能出现以下错误： 'gbk' codec can't encode character u'\xa0' in position 3621: illegal multiby 网页编码问题，所学有限暂不能完全解决。 但实验发现利用 " gb2312"解码不会出现以上问题，但是无法正常输出。 利用 " utf-8" 解码有可能会出现以上问题。 所实现的功能，爬取了糗事百科的文字类的段
我的第一个爬虫
Waterkong的博客
05-24 527
# 环境python 3.5.2 + beautifulsoup # 准备工作:了解 python 自带的模块 urllib + beautifulsoup 的网页解析#爬取了一个图片网站的部分图片from urllib import request from bs4 import BeautifulSoup import os import os.path import re try: r
python3 一些经常使用的数据结构和内置方法。
Waterkong的博客
09-16 408
（一）输出 print(a,b,c,sep="$",end="*")   # 参数sep指定输出分隔符，参数end指定输出结尾，默认是换行。 （二）数字 int('111', n)    # 按照 n 进制将一个字符串转换为整数。默认十进制。 bin()    # 转换为二进制 oct()    # 转换为八进制 hex()   # 转换为十六进制 complex(实部，虚部)
用php抓取企业信息。并保存到数据库
02-16
您可以使用PHP中的cURL扩展来从互联网上获取企业信息，并将其保存到数据库中。以下是一个简单的例子： ```php // 初始化cURL会话 $curl = curl_init(); // 设置要获取的网址 $url = ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值