Python小程序--第一个爬虫小程序

# 第一个爬虫小程序，爬虫还是要遵守互联网相关规定，敬畏版权，不要乱爬...不然很容易被请喝茶
# 中间踩到的一些坑，需要使用cmd命令导入的库
# pip install requests
# pip install BeautifulSoup4
# pip install lxml


import requests
from bs4 import BeautifulSoup

headers = {
	# 这里写各位自己的agent吧...我的就删除了...可以在谷歌浏览器里面的F12里面==>Network==>刷新页面==>随便点击一个Name==>查看右边的Headers==>往下滑就可以找到你的user-agent
	'user-agent': 'Mozilla/5.0'  #这里要注意，这是个字典，需要前面后面都加上引号
}

for i in range(1,31,10):	#最后一个参数是步长
	html = requests.get('https://cn.bing.com/search?q=VBA&first={}&FORM=PORE'.format(i),headers = headers)
	soup = BeautifulSoup(html.text,'lxml')
	VBA_soup = soup.select('.b_algo')	#LI列表，其实select就是一个列表

	for VBA_soup_title in VBA_soup:
		VBA_soup_title_text = VBA_soup_title.select('h2 a')[0].text  #这里使用[0]代表第一个元素
		print(VBA_soup_title_text)