- 博客(4)
- 收藏
- 关注
RSS订阅原创 使用进程池抓取猫眼网站排名前一百电影数据
import requests import re import json from multiprocessing import Pool from multiprocessing import Manager import time import functools # 抓取猫眼TOP100的数据 # 第一步：下载页面 def get_one_page(url): # 这里也可...
2018-07-27 11:20:06
375
原创 用python利用进程池也一个复制文件夹的小程序
import os import hashlib from multiprocessing import Pool from multiprocessing import Manager def innerCopyFile(fileName, srcPath, destPath, q): """ 拷贝一个文件 """ # 拼出源文件的绝对路径和目标文件的绝对路径...
2018-07-25 16:19:26
417
原创 使用爬虫利用有道翻译网站做一个翻译接口
import urllib.request import http.client import re from urllib import request,parse def getTInfo(key): # 通过抓包的方式获取的url，并不是浏览器上显示的url url = "http://fanyi.youdao.com/translate?smartresult=di...
2018-07-22 21:43:24
725
原创 Python爬虫电脑端User-Agent池接口
import random # 先定义一个空的User—Agent列表 userAgent_list = [] # 向空列表追加各个浏览器的User—Agent值 # Opera userAgent_list.append( 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom...
2018-07-21 15:16:28
590
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人