python3——爬虫（day1）

一、爬虫基本操作

1）爬虫

            — 定向     

           —非定向

2）请求一个网址：https://www.autohome.com.cn/news/（获取新闻文章的标题）

对于http访问的请求，本质是返回一个字符串。

 

1、下载页面：https://www.autohome.com.cn/news/

2、筛选：使用正则表达式

      /*******************************有可用的开源模块**********************************/

a、requests  （在cmd中输入pip3 install requests来安装requests）（安装方法，出处：CSDN无鞋童鞋https://blog.csdn.net/fx677588/article/details/56830929）

       response = requests.get('https://www.autohome.com.cn/news/')

       response.text

b、beautisoup模块   （（在cmd中输入pip3 install beautisoup4来安装beautisoup4））

/********

——安装后会报错ModuleNotFoundError: No module named 'bs4'，解决方法

——https://blog.csdn.net/sinat_34937826/article/details/79992728

********/

       soup = BeautiSoup(response.text,features='html.parser')       //创建一个beautisoup对象，此时会把整个html转换成一个一个的项。对象嵌套对象

       //由于对象可以设置方法，方法里可以写正则表达式

      target = soup.find(id='auto-channel-lazyload-article')

       print(tartget)

       

from bs4 import BeautifulSoup
import requests

response=requests.get('https://www.autohome.com.cn/news/')

soup = BeautifulSoup(response.text,features='html.parser')
target=soup.find(id='auto-channel-lazyload-article')

print(target)

 

结果截图：