下载python
安装完python后
打开cmd安装这两个扩展包
当时我遇见了一个pip 不是该命令……的问题
看一下环境变量配了吗:
此电脑- >属性- >高级系统设置- >高级- >环境变量- >路径- >修改,添加成功以后就可以运行了
pip -h
看一下是否可以运行
pip install requests
pip install beautifulsoup4
requests包
requests:请求
官方文档: https://2.python-requests.org/zh_CN/latest/
导入该模块
import requests
然后我们尝试向百度发起请求
r=requests.get('https://www.baidu.com')
用该变量就可以拿到我们想要的数据比如:请求码,请求返回的代码,
# 返回请求码
print(r.status_code)
# 返回请求的代码
print(r.text)
看到请求码是200就是请求成功了
然后下面是我们请求用text 输出的代码
更多的方法可以在官网上在查找
BeautifulSoup包
BeautifulSoup:解析代码里面的内容
文档地址: https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#
上面我们已经可以拿到百度的代码
我们可以拿百度的代码来解析尝试
#这是获取到的百度的代码
r.text
#解析他的代码
baidu=BeautifulSoup(r.text,"html.parser")
#获取标题
print("百度的标题"+baidu.title.text)
#也可以通过标签定位来获取元素/这个意思是获取代码中所有带div标签的元素
print(baidu.find_all('div'))
可以看到都可以获取到
但是百度的标题是乱码
简单爬个热搜榜
# 获取网站内容
r=requests.get("https://top.baidu.com/board?tab=car")
# 查看请求码
print(r.status_code)
#改变标准输出的默认编码
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')
# 将网站内容放到BeautifulSoup库中解析
list=BeautifulSoup(r.text,"html.parser")
# 根据类定位到信息的大位置
a=list.find_all(attrs={'class','container-bg_lQ801'})
# 再详细的进一步定位
b=a[0].find_all(attrs={'class','c-single-text-ellipsis'})
# 去重
# b=set(b)
# 输出到并且保存至title_list.txt文本文件,“w”是写入,如果没有该文件就创建,有的话就覆盖文件中的内容写入
with open("title_list.txt","w") as f:
f.write("汽车排行榜"+'\n')
# 将我们上面获取到的数据遍历出来
for tit in b:
# 循环将我们的信息写入到文件中
f.write(tit.text)
# 换行
f.write('\n')
f.write("\n")