python代码优化怎么做_请问我的python小爬虫代码应该怎么做优化?

新入门做的一个爬取文段程序,代码看起来比较臃肿,请问有没有什么好的建议呢?

另外我准备在for循环末尾把数据插入mysql数据库,这样做好吗,还是说再弄一个for循环,第一个for循环把数据存进二维列表里,第二个循环再逐条插入数据呢?

#-*- coding:utf-8 -*-

import re

from pyquery import PyQuery as pq

import time

#过滤html标签

def stripTag(x):

return re.sub('','',str(x))

#转换时间戳

def timeStamp(x):

return time.mktime(time.strptime(x,'%Y-%m-%d %H:%M'))

#获取网页局部源码

d = pq(url='http://www.juexiang.com/list/1017')

d = pq(d('.left').html())

x = d('div.arttitle')

#匹配时间格式

pattern = re.compile(r"[0-9]{4}(.*)[0-9]{2}")

#for循环获取标题、作者、时间

for i in x:

a = pq(pq(i).html())

title = stripTag(pq(a('a').eq(0).text()))

author = stripTag(pq(a('a').eq(1).text()))

time1 = str(pq(a('span').eq(2).text()))

time1 = timeStamp((pattern.search(time1)).group())

print(title,'\t',author,'\t',time1,'\n')

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值