python google 搜索结果爬取_python爬取百度谷歌搜索结果

使用requests模块爬取百度或者谷歌搜索结果，，如下代码示例是百度的，修改为谷歌的话研究下谷歌url的格式替换下即可，

把要搜索的字段写入一个文件中，每行写一个，运行的第一个参数为文件路径，按代码中的保存格式将结果保存在当前目录的文件中；

代码如下

# coding=utf-8

import os

import random

import sys

import time

import json

import logging

import datetime

import requests

logging.basicConfig(level=logging.DEBUG,

format='%(asctime)s - %(levelname)s - %(message)s')

USER_AGENT = ['Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20130406 Firefox/23.0',

'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0',

'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533+ \

(KHTML, like Gecko) Element Browser 5.0',

'IBM WebExplorer /v0.94', 'Galaxy/1.0 [en] (Mac OS X 10.5.6; U; en