为什么要建立自己的单词库
用过各种的背单词软件,总是在使用其他人的词库或者软件自己提供的词库,基本是人家提供什么自己就用什么,要想有更多的自主基本没有,最近看一个 COCA的按单词使用频率来提取的2万单词表,但没有对应的单词库,知米里倒是可以直接导入英文单词,系统帮你匹配上音标、读音、例句及解释,然而匹配后的结果你却无法导出。
特别是最近准备利用AnkiDroid来进行单词背诵,所以有种要建立自己的单词库的需求。更进一步或许可以自己开发一个背单词的软件也是有可能的。“万里长征第一步,先来建立单词库”,走一步看一步吧。
词库的需求分析
根据需求,词库应该包括如下内容
英文:对应英语单词
音标及读音:分为美语音标,读音,英语音标,读音
词性,中文释义:单词多个含义的不同词性和中文
例句:单词的例句
助记:比如词根或者其他有助于记忆的说明
输出一个文本文件好了,方便以后进行各种处理
使用技术的选择
获得单词的相关信息,目前可以通过百度翻译,有道翻译,必应翻译,谷歌翻译,金山词霸等方式,在综合考虑后选择通过必应字典模式获得相关数据。
数据爬取上,目前最为流行的并且相对成熟的是使用python(也就懂python),所以选择python
对于使用python爬取数据,一般有两种模式,一种是python+urllib+lxml, python+selenium+chrome。本身就是一个小项目,同时自身学习能力有限就没考虑scrapy的爬虫框架了。估计以后要是大量、各种、经常性爬取内容才会考虑这个。什么都要学习呀,学习是要成本的。
python+selenium+chrome
可以模拟浏览器动作,能有效的解决ajax模式下的数据爬取问题
很容易实现基于浏览器的测试
必须能够趟过 selenium 的一系列坑,相对学习成本要高
python+urllib+lxml
学习成本相对较低
ajax,动态网页的爬取不方便
当然两者都需要有一定的正则表达式能力。由于必应字典基本都属于静态网页,所以选择方式2就是python+urllib+lxml模式。
技术实现
1.python