Python 爬取外文网站并翻译中文和百度搜索验证

最新推荐文章于 2022-08-26 17:40:50 发布

柏舟1230

最新推荐文章于 2022-08-26 17:40:50 发布

阅读量1.4k

点赞数 2

分类专栏：爬虫文章标签： Python 爬虫谷歌翻译百度验证爬虫翻页

本文链接：https://blog.csdn.net/qq_28891989/article/details/97927596

版权

本文介绍了如何使用Python爬虫抓取外文网站的博客信息，通过谷歌翻译将其转为中文，并利用百度搜索进行内容验证。虽简单示例，未来计划结合Scrapy框架深入探讨。

摘要由CSDN通过智能技术生成

今天分享一个爬虫的简单实例，目标是爬取一个外文网站的博客信息，然后通过谷歌翻译成英文并使用百度搜索验证。

今天只是简单实现功能，以后有时间结合Scrapy框架综合的写一个博客。

# _*_ coding:utf-8 _*_
# @Time      : 15:52
# @Author    :baizhou

from googletrans import Translator
import requests
from lxml import etree


def Google_Translator(text):
    '''
    利用谷歌翻译，实现文本翻译
    :param text:
    :return:
    '''
    translator = Translator(service_urls=['translate.google.cn'])
    result = translator.translate(text, dest="zh-CN").text
    return result


def Check_frequency(text, count):
    '''
    使用百度搜索，完成出现频率统计
    :param text:
    :return: 返回yes or no
    '''
    # 拼url
    urls = "http://www.baidu.com/s?ie=UTF-8&wd={}".format(text)

    # 请求百度
    # 构造请求头
    
    headers = {
        'User-Agent': "Mozilla/4.0 (compatibl