关于python批量采集搜索的url
第一次写csdn,记录一下小白学习的过程。
爬取url分三步
1、分析网络请求,通过python模拟网络请求
2、分析网页源码,找到想要采集的信息
3、保存采集的信息
import requests
from bs4 import BeautifulSoup
def search(keyword):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36'
}
html = requests.get('https://www.google.co.kr/search?q={}&num=50&sourceid=chrome&ie=UTF-8'.format(keyword),headers=headers).text
soup = BeautifulSoup(html, 'html.parser')
f = open('news.txt','w')
for i in soup.find_all('div',attrs={'class': 'yuRUbf'}):
j = (i.find('a', href = True) ['href'][7:])
f.write("http://"+j+'\n')
print("已完成采集")
search('inurl:/index/login/login')
运行结果
然后查看保存的结果