在webmagic中加入了自定义语言

最新推荐文章于 2024-05-03 09:35:09 发布

weixin_33912453

最新推荐文章于 2024-05-03 09:35:09 发布

阅读量53

点赞数

文章标签： ruby python javascript ViewUI

原文链接：https://my.oschina.net/flashsword/blog/175349

版权

2019独角兽企业重金招聘Python工程师标准>>>

一直想在webmagic中加入一门自定义语言(领域特定语言，简称DSL)，但是实在无力从语法解析层开始写起。尝试过在XPath上做文章，后来又觉得太难过了。今天又聊到这个话题，想到当年接触过的Ruby，找到了这个Ruby的简易爬虫项目： https://github.com/mion/harvestman

JVM上一个好处就是有很多奇怪的库，而且这些库还非常的成熟，比如JRuby，Jython以及rhino。于是鼓捣半天，整出了一个DSL的雏形(基于JRuby)：  title = css "div.BlogTitle h1" content = css "div.BlogContent" urls "http://my\.oschina\.net/flashsword/blog/\d+"

感觉还是非常强大的！最强大之处是你大概不知道它是Ruby，好像你也不怎么需要会Ruby的语法...

可惜JRuby虽酷，但是遇到复杂情况定制起来可能会有点难度，毕竟会Ruby的人不那么多。这时我又想到了广大程序员喜闻乐见的Javascript！于是有了Javascript版本DSL(基于rhino)：

<!-- lang: js -->
var result = {
    title: $("div.BlogTitle h1"),
    content: $("div.BlogContent")
}
var config = {
    ua: '',
    sleepTime : 20
}
urls("http://my\\.oschina\\.net/flashsword/blog/\\d+")

说真的它已经不算是DSL了，因为有明显的js痕迹！不过没关系，毕竟熟悉js的人更多嘛，这样子高级定制会方便一些。

转载于:https://my.oschina.net/flashsword/blog/175349