闲来无聊,在网上按照教程写了一个Python爬虫,就是窃取数据然后保存下来爬虫实战–糗事百科。从糗百上爬取段子,然后输出到console,我改了一下保存到了数据库。
不扯没用的,直接上代码:
这是爬取得部分
#!/usr/bin/python
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
import thread
import time
import QsbkDb
class QSBK:
def __init__(self):
self.db = QsbkDb.CQsbkDb("database", "user", "password")
self.db.connect_db()
self.pageIndex = 1
self.user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
self.headers = {'User-Agent' :self.user_agent}
def __del__(self):
self.db.close_db()
def getPage(self,pageIndex):
try:
url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
request = urllib2.Request(url,headers=self.headers)
response = urllib2.urlopen(request)
pageCode = response.read().decode('utf-8')
return pageCode
except urllib2.URLError,e:
if hasattr(e,"reason"):
print "error",e.reason
if hasattr(e, "code"):
print "code",e.code
return None
def getPageItems(self,pageIndex):
pageCode = self.getPage(pageIndex)
if not pageCode:
print "page load error"
return None
pattern = re.compile('h2>(.*?)</h2.*?content">(.*?)</.*?number">(.*?)</',re.S)
items = re.findall(pattern,pageCode)
pageStories = []
for item in items:
pageStories.append([item[0].strip(),item[1].strip(),item[2].strip()])
return pageStories
def insert_db(self, author, support, context):
_command = 'insert into Jokes(author,support, context)values(\'%s\', %d, \'%s\')'%(author, int(support), context)
#print _command
self.db.execute_db(_command)
def cawler(self):
self.db.execute_db('truncate table Jokes')
for index in range(1,36):
pageStore = self.getPageItems(index)
if pageStore == None:
print "Load page "+ str(index) +" failure\r\n"
continue
for store in pageStore:
page = index
try:
#print u"第%d页\t发布人:%s\t 赞:%s\n%s\r\n" %(page,store[0],store[2],store[1])
self.insert_db(store[0], store[2], store[1])
except Exception as e:
print "reson",e.message
del pageStore
time.sleep(1) #这个地方一定不要干掉
time.sleep(1)睡一下不是白睡的,如果不加这个服务器会作出判断,认为你是DDOS攻击(因为我们一直在request),有的网站会这样,而有的网站则不会。
这是数据库操作部分:
#!/usr/bin/python
# -*- coding:utf-8 -*-
import MySQLdb
class CQsbkDb:
def __init__(self, name, user, passwd):
self.db_name = name
self.db_usr = user
self.db_psw = passwd
def connect_db(self):
self.db_connect = MySQLdb.connect("localhost", self.db_usr, self.db_psw, self.db_name, charset='utf8')
self.db_connect.select_db('qsbk') #你存放糗百的数据库
def close_db(self):
self.db_connect.close()
def execute_db(self, command):
_cursor = self.db_connect.cursor()
try:
_cursor.execute(command)
self.db_connect.commit()
_cursor.close()
except Exception as e:
print e.message
self.db_connect.rollback()
lz用的是mysql数据库,数据库的操作网上一抓一大把,我就不多说了。
先说一下表的结构:
名字叫做 Jokes:
key是插入的编号num,设置为auto_increment自增模式,所以我们可以看见在QSBK中insert_db函数中num项为空,它会自己设置不用管。
num: 段子编号 key
author: 作者
support: 点赞数
context:段子内容
这里面有个需要注意的问题就是建表的时候你要让author和context支持中文gbk。
alter table Jokes modify context text character set gbk;
alter table Jokes modify author text character set gbk;
以上基本就是这些了,目前仅支持文本段子,不支持图片。
运行结果: