Python3写一个超简单的通用性爬虫

#coding=utf-8 import os import time import requests from lxml import etree from dataclasses import dataclass from urllib.parse import urljoin from ur...

2019-03-31 22:23:54

阅读数 100

评论数 2

Python3 解析m3u8文件下载所有ts文件,并快速合并为mp4文件

import os import time import m3u8 import requests from glob import iglob from natsort import natsorted from urllib.parse import urljoin from dataclas...

2019-02-16 22:41:47

阅读数 506

评论数 0

Python3 爬虫实战 3:简单的JS爆破

一.谷歌学术镜像:http://ac.scmor.com/,需要获取页面上的网址。 1.Chrome浏览器打开网址,按下 F12,选择最左边的箭头,点击 现在访问 ,如图: 看到 onclick,是一个鼠标点击事件,全局搜索 visit这个函数: function visit(url)...

2019-04-20 10:58:34

阅读数 1

评论数 0

Python3 爬虫实战 2:应对css混淆,爬取真实ip地址

1.目标地址:http://datamining.comratings.com/exam 2.打开Chrome浏览器,按下F12,选择Application选项,清除浏览数据: 点击 Clear site data,清除缓存数据,如果不放心,可以多点击几下。点击后,切换到 Network ...

2019-04-15 14:45:07

阅读数 72

评论数 0

Python3 爬虫实战 1:应对特殊字体,爬取猫眼电影实时排行榜

文章参考:https://www.cnblogs.com/gl1573/p/9994286.html 代码: import os import re import base64 import requests from bs4 import BeautifulSoup from pretty...

2019-04-12 14:26:29

阅读数 32

评论数 0

Python3调用谷歌翻译api,进行文本翻译

1.安装谷歌翻译库: pip3 install googletrans 2.调用: from googletrans import Translator translator = Translator(service_urls=['translate.google.cn']) sourc...

2019-04-08 13:43:06

阅读数 14

评论数 0

Python3调用腾讯AI,进行文本翻译

1.帮助文档:https://ai.qq.com/doc/nlptrans.shtml 2.app_id 和 app_key 需要自己注册申请 3.通过帮助文档编写代码如下: 与有道云的代码区别不大。 import time import hashlib import requests f...

2019-04-08 09:55:42

阅读数 60

评论数 0

使用Python3 编写浏览器头信息转JSON格式的小脚本

1.需求:在破解js加密时需要经常讲头信息复制到代码中使用,实在是受够了每次手动转换,因此写个小工具,方便以后使用。 2.代码: import pprint def get_headers(text): texts = text.strip().split('\n') he...

2019-04-04 17:32:48

阅读数 43

评论数 0

Python3调用搜狗AI,进行文本翻译

1.帮助文档:https://deepi.sogou.com/doccenter/texttranslatedoc?fr=process 2.pid及key需要自己注册申请 3.环境:WIN7 + VScode + Python 3.7 4.话不多说,代码如下: import hashl...

2019-04-03 10:06:11

阅读数 73

评论数 0

Python3调用搜狗AI,进行文字识别

1.帮助文档地址,https://deepi.sogou.com/doccenter/textcognitivedoc?fr=process 2.pid及key需要自己注册申请 3.文档上有代码,我自己重新编了一遍,可以正常运行。 4.环境:WIN7 + VS code + Python 3...

2019-04-03 09:36:20

阅读数 46

评论数 0

Python3调用百度AI,进行文本翻译

1.帮助文档:http://fanyi-api.baidu.com/api/trans/product/apidoc#joinFile 2.app_id 和 app_key 需要自己注册申请 3.通过帮助文档编写代码如下: 与有道云的代码区别不大。 #coding=utf-8 import...

2019-04-02 13:18:44

阅读数 70

评论数 0

Python3调用有道云AI,进行文本翻译

1.帮助文档:https://ai.youdao.com/docs/doc-trans-api.s#p04 2.app_key 和 secret_key 需要自己注册申请 3.通过帮助文档编写代码如下: #coding=utf-8 import hashlib import request...

2019-04-02 10:37:05

阅读数 32

评论数 0

Python3调用有道云AI,进行文字识别

#coding=utf-8 import os import json import time import base64 import hashlib import requests from random import randint from dataclasses import datac...

2019-03-28 19:48:02

阅读数 425

评论数 2

Python3调用京东AI,进行文字识别

#!/usr/bin/python # -*- coding: utf-8 -*- import os import time import requests import hashlib from dataclasses import dataclass def get_file_conte...

2019-03-28 19:29:38

阅读数 124

评论数 0

Python3调用讯飞AI,进行文字识别

# coding=utf-8 import os import time import random import base64 import hashlib import requests from dataclasses import dataclass def get_img_base64...

2019-03-27 20:13:09

阅读数 50

评论数 0

Python3 调用阿里巴巴AI,进行文字识别

import os import base64 import requests from dataclasses import dataclass def get_img_base64str(image_file): """生成原始图片的base64编码数据...

2019-03-27 19:49:08

阅读数 61

评论数 0

Python3 调用百度AI 进行文字识别

# -*- coding: UTF-8 -*- import os import time from aip import AipOcr #pip3 install baidu-aip from dataclasses import dataclass #Pyth...

2019-03-27 19:40:12

阅读数 76

评论数 0

Python3 调用腾讯AI,进行文字识别

import os import time import json import random import base64 import hashlib import requests from urllib import parse from secrets import token_hex f...

2019-03-26 20:20:34

阅读数 24

评论数 0

Python3调用aria2下载文件

import os import time from pyaria2 import Aria2RPC def get_file_from_url(link, file_name): jsonrpc = Aria2RPC() set_dir = os.path.dirname(__...

2019-03-20 10:07:20

阅读数 115

评论数 0

Python3使用mmap进行文件内容替换

你想将文件里面的所有'hello'字符串全部换成'nihao',而又不想创建临时文件,可以尝试如下方法: import mmap import contextlib def modify_text_file(file,src,dst): if len(src) != len(dst...

2019-03-10 13:11:55

阅读数 95

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭