Day 21/100 Python如何清洗解析到的网页数据？

1、昨儿获取到的是所有a标签的网页数据

但我发现里面有网页头部，尾部等无效数据（比如“首页”等导航），于是，想找到更精准的数据。

我发现了返回有效数据的class属性是‘vT-srch-result’，在页面中唯一

去找了BeatifulSoup中find_all的用法，支持标签和属性共同查找，代码如下

obj=bs.find_all('div',{'class':'vT-srch-result'})

此时，返回的结果中，就是精准的返回搜索结果的数据部分；

 

2、但差距是，仍然是网页数据，想获取到网页数据中的标题和链接

所以用在此用find_all，来处理obj[0]数据，得到了其中的所有a标签，代码如下

data=obj[0].find_all('a')

打印出data，发现已经是比较精准的数据了

 

3、但里面还是有需要清洗的数据，比如里面有省份标签是无效的。

特征是标签的href属性是‘javascript:void(0)’

于是想到了遍历列表，用if判断a标签的属性值不等于‘javascript:void(0)’，则存到数组中

这里有3个细节需要注意：

1）获取href的属性值的方法

i['href']

2）if条件语句最后不是用{}了，改了:

3) 获取到的文本部分，有回车、换行、空格（\r\n ）,需要去掉空格，使用的是strip()

于是，代码如下

projects=[]

# 循环处理数据

for i in data:

    if(i['href']!='javascript:void(0)'):

        projects.append([i.text.strip(), i['href']])

最终，得到的projects的数据如下

 

嵌套的二维数组

 

以上

 

参考链接

https://blog.csdn.net/qq_22592457/article/details/95191430

https://www.py.cn/faq/python/13287.html

https://www.runoob.com/python/python-lists.html