php网站开发百度百科,PHP抓取百度百科数据实践

本文介绍了如何使用PHP抓取百度百科数据,包括确定要抓取的内容、处理多义词问题、解析URL、使用phpQuery库抓取信息及正则匹配内容。在抓取过程中,需要注意关键词的准确性、DOM元素的选择以及空格字符的处理,确保数据的准确性和完整性。
摘要由CSDN通过智能技术生成

最近在用PHP抓取各种IP数据,这里讲一下在抓取百度百科数据时的步骤以及遇到的坑。

首先我们要确定抓取的内容是什么。比如我们想抓取“周杰伦”的数据。我们直接在百度搜索周杰伦,会出现百度的搜索结果,其中就有百度百科的内容,我们直接点进去。

4f21cbcede4e4b7b3e9267dc057777a0.png

我们先看一下我们搜索结果的百度百科URL是什么样子的:

8a1a8a25244ec3ae4f6a6423741399a1.png

可以看到格式为http://baike.baidu.com/link?url=params

其中这个params其实就是urlencode我们搜索的关键字之后形成的参数,所以我们可以根据前端直接POST过来的关键字进行URL的拼接之后用CURL或者phpQuery来抓取百度百科页面的信息。但是这里有一个问题。我们搜索出来的关键字的百科信息可能对应了不同的词条。比如我们搜索了“仙剑奇侠传“,我们本意想搜索胡歌主演的电视剧,但是百科的第一词条却是显示的仙剑奇侠传这个游戏,这个词条是一个多义词。所以我们前端传过来的值最好是确定的百度百科URL,这样我们抓取的信息会准确无误。

好了现在有了URL了,我们下面就要开始抓取我们想要的数据了。最想要的数据应该就是我们搜索出来的词条的基本信息,就是图下的内容:

89bfd54bd5ce2e4cb30b83adf725eaea.png

周杰伦是名人,你可按照词条的分类不同建立不同的数据表,比如人物一张表,影视内容一张表等等,因为同一类的百科基本信息组成都差不多。如果用NoSQL就更方便了,直接把这些信息全放进去就可以。

抓取页面一部分的内容还是用phpQuery比较方便,我们先看一下这个基本信息的DOM元素:

a575475eca0cd09ce85583a2fc7e3dab.png

可以看到这个是一个basic-info为class的div包裹的,左边的信息在basicInfo-left中,右边的信息在basicInfo-right中。具体的信息在一个dt和dd组成的元素里,一个信息(在.basicInfo-item name的class)对应一个值(在basicInfo-item value的class中)。

我们直接把这个class为basic-info的div里面的html抓取下来就好,剩下我们在用正则匹配我们想要的内容。

直接pq('.basic-info')->html()就可以了。

我们先看一下抓取到的内容是什么样子的:

7113d623c615def53a129d474be66cb1.png

基本上就是一个原始的HTML内容。我们要正则匹配出来我们想要的信息然后存入相应的字段中。

我们先把这个字符串里的空格都清楚掉,方便我们的正则匹配,我这里写了一个函数:

037aa445ebc724356c3f33f7cb4fa456.png

!注意:可以看到我最后还替换了一个\x{00a0}的东西,这个是什么呢?这个就是一个坑。大家可以在上面的HTML图中看到,其中信息为两个字的中间有四个空格,但是这个空格并不能用平常的空格给代替掉,必须用ASCII码来替换,这是需要注意的。

接下来正则匹配我们想要的信息:

f9874ef6824cc4c8eaae02d05f642a8e.png

这里也要注意,有些我们想要的信息是有多个信息匹配的,虽然名字不一样,但是里面信息的内容却是相近的。这里举例的是明星和运动演员,都是获得的奖项,但是名字却不一样。同样的还有电影的票房,票房、全球票房、统计票房等等,其实都是票房的字段信息,随意抓取的时候多观察几个百科页面的信息,做到万无一失。

然后将匹配到的信息存到数组中准备插入数据库,在插入数据库之前还有一个工作要做:

37674028e6c6ca1a0669561e85c13e42.png

我们要把数组中的标签、注释和多余信息给剔除。

注释是这样的:

540f0f6494be644cd2c46304ea8547d3.png

多余信息是这样的:

cbf3ddcefb2a9a20bf1b21d8618a4df5.png

这些都是要注意的内容。

最后我们就得到了我们想要的数据了,分类插入数据库就OK啦。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值