一、爬虫基本操作
1)爬虫
— 定向
—非定向
2)请求一个网址:https://www.autohome.com.cn/news/(获取新闻文章的标题)
对于http访问的请求,本质是返回一个字符串。
1、下载页面:https://www.autohome.com.cn/news/
2、筛选:使用正则表达式
/*******************************有可用的开源模块**********************************/
a、requests (在cmd中输入pip3 install requests来安装requests)(安装方法,出处:CSDN无鞋童鞋https://blog.csdn.net/fx677588/article/details/56830929)
response = requests.get('https://www.autohome.com.cn/news/')
response.text
b、beautisoup模块 ((在cmd中输入pip3 install beautisoup4来安装beautisoup4))
/********
——安装后会报错ModuleNotFoundError: No module named 'bs4',解决方法
——https://blog.csdn.net/sinat_34937826/article/details/79992728
********/
soup = BeautiSoup(response.text,features='html.parser') //创建一个beautisoup对象,此时会把整个html转换成一个一个的项。对象嵌套对象
//由于对象可以设置方法,方法里可以写正则表达式
target = soup.find(id='auto-channel-lazyload-article')
print(tartget)
from bs4 import BeautifulSoup
import requests
response=requests.get('https://www.autohome.com.cn/news/')
soup = BeautifulSoup(response.text,features='html.parser')
target=soup.find(id='auto-channel-lazyload-article')
print(target)
结果截图: