最近在用PHP抓取各种IP数据,这里讲一下在抓取百度百科数据时的步骤以及遇到的坑。
首先我们要确定抓取的内容是什么。比如我们想抓取“周杰伦”的数据。我们直接在百度搜索周杰伦,会出现百度的搜索结果,其中就有百度百科的内容,我们直接点进去。
我们先看一下我们搜索结果的百度百科URL是什么样子的:
可以看到格式为http://baike.baidu.com/link?url=params
其中这个params其实就是urlencode我们搜索的关键字之后形成的参数,所以我们可以根据前端直接POST过来的关键字进行URL的拼接之后用CURL或者phpQuery来抓取百度百科页面的信息。但是这里有一个问题。我们搜索出来的关键字的百科信息可能对应了不同的词条。比如我们搜索了“仙剑奇侠传“,我们本意想搜索胡歌主演的电视剧&#x