Python3-抓取某翻译网页 获取js数据

标签: md5 加密 js数据 抓取网页
10人阅读 评论(0) 收藏 举报
分类:
#抓取有道翻译网页 获取js数据

#找接口,至少尝试三次以上

from urllib import parse,request
import time,random
import hashlib
import json

#md5加密
def getMd5(str):
    md5 = hashlib.md5()
    md5.update(bytes(str, encoding='utf-8'))  # 加密类型是字节类型
    sign = md5.hexdigest()  # 加密
    print(sign)
    return sign

def fanyi(key):

    base_url='http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'

    #生成salt  JS返回的是毫秒级时间戳、python拿到的是秒级的时间戳
    # i="" + ((new Date).getTime() + parseInt(10 * Math.random(), 10))#js格式
    salt=""+str(int(time.time()*100)+random.randint(0,10))
    #生成sign
    # o = ("fanyideskweb" + t + i + "ebSeFb%=XZ%T[KZ)c(sy!");
    # t='job'
    o_str="fanyideskweb" + key + salt + "ebSeFb%=XZ%T[KZ)c(sy!"
    sign=getMd5(o_str)


    data={
        'i':key,
    'from': 'AUTO',
    'to': 'AUTO',
    'smartresult': 'dict',
    'client': 'fanyideskweb',
    'salt': salt,
    'sign': sign,
    'doctype': 'json',
    'version': '2.1',
    'keyfrom': 'fanyi.web',
    'action': 'FY_BY_REALTIME',
    'typoResult': 'false'
    }
    data=parse.urlencode(data)

    headers={
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    # 'Accept-Encoding: gzip, deflate
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Connection': 'keep-alive',
    'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',
    'Cookie': 'OUTFOX_SEARCH_USER_ID=-2024838773@10.169.0.83; JSESSIONID=aaaln4v6n93KX5B3rc_kw; OUTFOX_SEARCH_USER_ID_NCOO=807868141.5217086; ___rl__test__cookies=1523607822055',
    'Host': 'fanyi.youdao.com',
    'Origin': 'http://fanyi.youdao.com',
    'Referer':' http://fanyi.youdao.com/',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
    ,'X-Requested-With': 'XMLHttpRequest',
        'Content-Length':len(data)

    }

    req=request.Request(base_url,bytes(data,encoding='utf-8'),headers=headers)
    response=request.urlopen(req)
    content=response.read()
    content=content.decode('utf-8')
    print(content)

    # 整理代码
    data_json=json.loads(content)
    smart_json=data_json['smartResult']
    smart_item=smart_json['entries']
    for item in smart_item:
        print(item)

    '''
    {"translateResult": [[{"tgt": "hadoop", "src": "hadoop"}]], 
     "errorCode": 0, "type": "en2zh-CHS",
     "smartResult": {"entries": ["", "分布式计算\r\n"], "type": 1}}
    '''

if __name__=='__main__':
    while True:

        content=input('请输入要翻译的内容:')
        fanyi(content)
        if content=='q':
            break

/Library/Frameworks/Python.framework/Versions/3.6/bin/python3.6 /Users/apple/PycharmProjects/stage4/spider/2018_03_06/01spider_js.py
请输入要翻译的内容:work
c6338d04dd302e3f7717ad16167a8cd3
{"translateResult":[[{"tgt":"工作","src":"work"}]],"errorCode":0,"type":"en2zh-CHS","smartResult":{"entries":["","n. 工作;[物] 功;产品;操作;职业;行为;事业;工厂;著作;文学、音乐或艺术作品\r\n","vt. 使工作;操作;经营;使缓慢前进\r\n","vi. 工作;运作;起作用\r\n"],"type":1}}


n. 工作;[物] 功;产品;操作;职业;行为;事业;工厂;著作;文学、音乐或艺术作品


vt. 使工作;操作;经营;使缓慢前进


vi. 工作;运作;起作用


请输入要翻译的内容:


查看评论

抓取HTML页面表格中的某一列数据

今天需要抓取的内容在HTML页面中存在,但是需要的只是表格中的某一列数据,而且在页面中存在多个table。这里采用采用逐层抓取的方法。正则表达式用的6的就不用往下看了。需要获取的的table的某一行数...
  • csdanteng
  • csdanteng
  • 2017-08-10 15:07:14
  • 476

使用javascript抓取网站数据

1、最近接到一个小项目,从一个完整
  • mjjmjc
  • mjjmjc
  • 2014-10-15 20:46:02
  • 3476

node.js 小爬虫抓取网页数据

慕课网的nodejs教程:http://www.imooc.com/learn/348 首先,npm install cheerio,可以认为cheerio这货就是nodejs版本的jQuery,用...
  • sunnylinner
  • sunnylinner
  • 2016-10-27 06:39:30
  • 3121

如何抓取执行js之后的网页内容

问题:用httpclient和Jsoup似乎没办法获取到执行了js之后的网页内容? 两种思路:...
  • u011271202
  • u011271202
  • 2014-08-12 21:56:26
  • 2515

网页爬虫,网页抓取,js加载后网页抓取,超简单。

  • 2014年01月02日 15:31
  • 107KB
  • 下载

js获取网页选中部分的内容,包含html代码

function getSelectedContents(){ if (window.getSelection) { //chrome,firefox,opera var ra...
  • sqzhao
  • sqzhao
  • 2015-10-01 14:15:20
  • 1007

实现从网页上抓取数据(htmlparser)

package parser;   package parser;   import java.io.BufferedReader; import java.io.BufferedWri...
  • sinat_27615265
  • sinat_27615265
  • 2016-02-19 18:04:15
  • 3305

使用python抓取js动态加载的网页

我们在做网页抓取的时候,一般来说使用urllib和urllib2就能满足大部分需求。 但是有时候我们遇见那种使用js动态加载的网页。就会发现urllib只能抓出一个部分内容空白的网页。 解决办法是使用...
  • lambert310
  • lambert310
  • 2015-10-19 11:49:11
  • 12021

如何用websocket抓取JS渲染页面

上次面试,面试官问了下如何使用websocket抓取js渲染了的页面,因为原来抓取小说网站上的首页面都是静态网页,还没考虑过js渲染页面,后来看了看,发现使用websocket抓取js渲染页面主要有两...
  • z719725611
  • z719725611
  • 2016-09-25 09:28:43
  • 999
    个人资料
    持之以恒
    等级:
    访问量: 105
    积分: 475
    排名: 10万+
    文章存档