python用于爬取时需要用到requests,bs4等模块,但是有些同学的python中并没有将这些模块导入进去,那么该如何导入呢:
首先需要打开控制面板->系统和安全->系统->高级系统设置->环境变量:
用户变量和系统变量中点击新建:
变量名写:path
变量值复制你的python安装路径(可以在桌面快捷方式右击打开文件所在位置,然后复制粘贴那个位置路径即可)
然后点击确定
开始安装模块:
首先打开cmd
然后更改操作路径:输入:CD + python安装路径(此处路径就是上面用到的那个路径)
路径更改成功,输入:pip install bs4 即可安装bs4模块,这里注意的是需要观察你的python文档中pip.exe的文件名是否正确,本人的名称是pip3.8,所以需要输入:pip3.8 install bs4)
这样就安装成功啦。其他模块的方法是一样滴
然后开始编写python代码:
import requests
import xlwt
import time
from bs4 import BeautifulSoup
# 获取网页内容
def get_html(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}
response = requests.get(url, headers = headers)
if response.status_code == 200:
return response.text
else:
print('无数据!')
return None
# 解析网页内容
def parse_html(html):
soup = BeautifulSoup(html, 'lxml')
i = 0
for item in soup.select('tr'