爬虫实战操作（1）—— 入门操作

最新推荐文章于 2024-05-20 21:35:11 发布

千里足行~始于足下

最新推荐文章于 2024-05-20 21:35:11 发布

阅读量271

点赞数 1

分类专栏：网络爬虫

本文链接：https://blog.csdn.net/weixin_43585712/article/details/108928637

版权

网络爬虫专栏收录该内容

6 篇文章 0 订阅

订阅专栏

爬虫很难，却很有用，尝试读了很多书都效果不好，还是得自己做一些小实例，遇到不懂得就查询,希望新入手爬虫得不用放弃，一起加油。

1.网络爬虫基础

大多数公司的重要数据都是从网页中得到，怎么把非结构化数据（网页数据）转化为结构化数据（数据库）呢？
在这里插入图片描述

1.1 网络爬虫的架构

使用request获取网页的内容，使用BeautifulSoup4把内容剖析出来
在这里插入图片描述

import requests
res=requests.get("https://news.sina.com.cn/china/")
res.encoding='utf-8'
print(res.text)#取出回应的结果
#输出的结果就是我们在谷歌开发工下看到的一样，那么怎么判断打印的内容就是我们想找的呢？
#从浏览器复制标题，打开该页面ipython，按ctrl+f,粘贴即可

在这里插入图片描述

1.2 怎么上面获取的内容剖析出来？

BeautifulSoup4把网页请求的内容变成DOM Tree,然后根据DOM Tree的节点进行操作，下面是dom-tree图片
在这里插入图片描述

from bs4 import BeautifulSoup
#下面是一个链接
html_sample='\
<html>\
 <h1 id="title">Hello World</h1> \
 <a href="#" class="link">This is link1</a> \
 <a href="# link2" class="link">This is link2</a> \
 </body>\
 </html>'
soup=BeautifulSoup(html_sample,'html.parser')#指定剖析器html.parser
print(soup.text)#把里面的文字内容取出来，把旁边不需要的标签剔除
#Hello World This is link1 This is link2

1.特殊标签之中的元素以及节点的内容怎么取？
这时需要用select方法

#使用select找出含有h1标签的元素
header=soup.select('h1')
print(header)
print("========================================================")
#使用select找出含有a标签的元素
alink=soup.select("a")
print(alink)
for link in alink:
    print(link)
    print(link.text)#取出其文字

在这里插入图片描述 2.同样的标签不止一个，怎么取含有特定属性的元素呢？
可以使用CCS，网络的化妆师。

#使用select找出所有id为title的元素，在id前加#
alink=soup.select("#title")
print(alink)
#使用select找出所有class为link的元素，在class前加.
for link in soup.select(".link"):
    print(link)#取出其文字

在这里插入图片描述
3.取得所有a标签的链接

#取得所有a标签的链接
#使用select找出所有 a tag的href属性，获取链接
alinks=soup.select("a")
for link in alinks:
     #print(link)
     print(link['href'])

在这里插入图片描述

2. 实战操作

2.1 爬虫

import requests
from bs4 import BeautifulSoup
res=requests.get("https://news.sina.com.cn/china/")
res.encoding='utf-8'
soup=BeautifulSoup(res.text,'html.parser')
print(soup)

查看标签的两种方式，目前还是新手，两者结合使用，第二种使用的infolite插件，
安装参考：安装教程，谷歌不能安装，我是按照到360浏览器也可以正常使用。
在这里插入图片描述

在这里插入图片描述

对数据进行爬虫，并整理到excel中

#通过观察chrome看到某些部分标题的类标签是news-1
import pandas as pd
for news in soup.select('.news-1'):
    alink=news.select("a")   
    for link in alink:
         ans.append([link.text,link['href']])
for news in soup.select('.news-2'):
    alink=news.select("a")   
    for link in alink:
         ans.append([link.text,link['href']])
result=pd.DataFrame(ans)
result.columns=['名称','链接']
result

在这里插入图片描述

2.2 排行榜

import requests
from bs4 import BeautifulSoup
res=requests.get("http://news.sina.com.cn/hotnews/")
res.encoding='utf-8'
soup=BeautifulSoup(res.text,'html.parser')
print(soup)

在这里插入图片描述

ans=[]
for news in soup.select('.ConsTi'):
    alink=news.select("a")   
    for link in alink:
         ans.append([link.text,link['href']])
result=pd.DataFrame(ans)
result.columns=['名称','链接']
result

在这里插入图片描述

2.3 最新消息

import requests
from bs4 import BeautifulSoup
res=requests.get("https://news.sina.com.cn/world/")
res.encoding='utf-8'
soup=BeautifulSoup(res.text,'html.parser')
print(soup)

在这里插入图片描述

可以先看看里面有什么内容？
在这里插入图片描述

#通过观察chrome看到某些部分标题的类标签是news-1
ans=[]
import pandas as pd
for news in soup.select('.img-news-item'):
    name=news.select('h2')[0].text
    time=news.select('.time')[0].text
    link=news.select('a')[0]['href']
    ans.append([time,name,link])
result=pd.DataFrame(ans)
result.columns=['日期','名称','链接']
result

在这里插入图片描述
备注：图片均被模糊，因为博客不让发。

千里足行~始于足下

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
爬虫实战操作（1）—— 入门操作

爬虫很难，却很有用，尝试读了很多书都效果不好，还是得自己做一些小实例，遇到不懂得就查询,希望新入手爬虫得不用放弃，一起加油。1.网络爬虫基础大多数公司的重要数据都是从网页中得到，怎么把非结构化数据（网页数据）转化为结构化数据（数据库）呢？1.1 网络爬虫的架构使用request获取网页的内容，使用BeautifulSoup4把内容剖析出来import requestsres=requests.get("https://news.sina.com.cn/china/")res.encodin
复制链接

扫一扫