xpath爬顶点页面信息

# encoding:utf8
import requests  # Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。
from lxml import etree # 引用etree处理网页源代码会默认修改编码，解析成xpath能解析的编码
import mysql.connector

db = mysql.connector.connect(user='root', password='12345678', host='127.0.0.1', port='3306', db='xp_xiaoshuo')
cursor = db.cursor()

content = requests.get('http://www.23us.so/list/1_1.html').content.decode('utf8') # 获取网页源码并转为utf8编码格式
# print(content)
lxmls = etree.HTML(content) # 当成response使用;这段代码就是支持xpath的属性


#注意：以前用的是//*[@id="content"]/dd[1]/table/tr[2]/td[1]/a/text()，只匹配到一行，去掉tr[2],就匹配到整个页面的信息
title = lxmls.xpath(' //*[@id="content"]/dd[1]/table/tr/td[1]/a/text()') # 文章
sections = lxmls.xpath('//*[@id="content"]/dd[1]/table/tr/td[2]/a/text()') # 最新章节
author = lxmls.xpath(' //*[@id="content"]/dd[1]/table/tr/td[3]/text()') # 作者
zijie = lxmls.xpath(' //*[@id="content"]/dd[1]/table/tr/td[4]/text()') # 字节
gengxin = lxmls.xpath(' //*[@id="content"]/dd[1]/table/tr/td[5]/text()') # 更新
zt = lxmls.xpath(' //*[@id="content"]/dd[1]/table/tr/td[6]/text()') # 状态

for i in range(len(title)):
print(title[i], sections[i], author[i], zijie[i], gengxin[i], zt[i])
 sql = "insert into xp_table(`title`,`sections`,`author`,`zijie`,`gengxin`,`zt`)VALUES ('%s','%s','%s','%s','%s','%s')" % (
 title[i], sections[i], author[i], zijie[i], gengxin[i], zt[i])
 cursor.execute(sql)
 db.commit()

转载于:https://www.cnblogs.com/GUIDAO/p/6690596.html