python采集文章_Python

作者：小文 发布于：2016-5-26 9:25 Thursday

分类：官方公告

除了支持PHP，C#插件，最近火车采集器终于又迎来了一个新的插件，Python插件。用户可以在自己的Python插件中，修改html代码，修改最终采集结果，可以实现更多自己的想法。python插件支持2.7和3.x版本，采集器默认自带2.7和3.4的示例代码，用户只需要稍微修改即可以完成自己的功能。Python插件功能将在V9.2版本中集成，马上就能和大家见面了。

更多插件及开发，请加QQ群 火车头开放平台 149855485

以下是3.4的python插件示例代码

import sys,importlib

from urllib import parse

import json

if len(sys.argv)!= 5:

print(len(sys.argv))

print("命令行参数长度不为5")

sys.exit()

else:

LabelCookie = parse.unquote(sys.argv[1])

LabelUrl = parse.unquote(sys.argv[2])

#PageType为List,Content,Pages分别代表列表页，内容页，多页http请求处理，Save代表内容处理

PageType=sys.argv[3]

SerializerStr = parse.unquote(sys.argv[4])

if (SerializerStr[0:2] != '''{"'''):

file_object = open(SerializerStr)

try:

SerializerStr = file_object.read()

finally:

file_object.close()

LabelArray = json.loads(SerializerStr)

#以下是用户编写代码区域

if(PageType=="Save"):

if(LabelArray['标题']):

LabelArray['标题']='这是Python插件处理的标题'

else:

LabelArray['Html']='当前页面的网址为:'+ LabelUrl +"\r\n页面类型为:" + PageType + "\r\nCookies数据为:"+LabelCookie+"\r\n接收到的数据是:" + LabelArray['Html']

#以上是用户编写代码区域

LabelArray = json.dumps(LabelArray)

print(LabelArray)