关于python批量采集搜索的url

关于python批量采集搜索的url

第一次写csdn，记录一下小白学习的过程。

爬取url分三步

1、分析网络请求，通过python模拟网络请求
2、分析网页源码，找到想要采集的信息
3、保存采集的信息

import requests
from bs4 import BeautifulSoup

def search(keyword):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36'
    }
    html = requests.get('https://www.google.co.kr/search?q={}&num=50&sourceid=chrome&ie=UTF-8'.format(keyword),headers=headers).text
    soup = BeautifulSoup(html, 'html.parser')
    f = open('news.txt','w')
    for i in soup.find_all('div',attrs={'class': 'yuRUbf'}):
        j = (i.find('a', href = True) ['href'][7:])
        f.write("http://"+j+'\n')
	print("已完成采集")
search('inurl:/index/login/login')

运行结果

然后查看保存的结果