基于lua网络爬虫

最新推荐文章于 2023-11-14 19:02:07 发布

ouloba_cs

最新推荐文章于 2023-11-14 19:02:07 发布

阅读量3.3k

点赞数 1

分类专栏： web 文章标签： lua web 网络爬虫

本文链接：https://blog.csdn.net/ouloba_cs/article/details/102176789

版权

本文介绍了如何利用Lua和lua-htmlparser库来构建一个网络爬虫。通过引用EventServer项目和lua-htmlparser库，读者可以学习到网络爬虫的基础知识及其在Lua中的实现。

摘要由CSDN通过智能技术生成

依赖

https://gitee.com/EventServer

lua-htmlparser

--定义数据

SpiderWebs={}

SpiderWebs[1]={url='https://www.oschina.net', selector='a.news-link', content='div.content'}



--采集URL

--'https://www.oschina.net'

--'a.news-link'

--'div.content'

function SpiderProc(url, selector, contentname)

	local htmlparser = require('htmlparser')

	local ret,text = ExecuteURL(math.random(1,10), url, true)

	local root = htmlparser.parse(text,10000)

	print(" chapters")

	local sel, chapters = root(selector), {}



	for k,v in pairs(sel) do

		local href = v.attributes['href']		

		if not SpiderUrl[href]  then			

		

			local title = v.attributes['title']

			--print(k,v.name, href)	

			local ret,resp = ExecuteU