爬虫
佐倉
皆さん、こんにちは。私は桜と申しますが、故郷は河南です。ソフトウェアが大好きだなあ。時間があれば一緒に勉強しましょう!よろしく、お願い致します!
展开
-
Python 爬虫模块py2x与py3x差异
try: import urllib2#version2.xexcept: import urllib.request#version3.x import urllib.errortry: import urllib#version2.xexcept: import urllib.request#version3.x import urll...原创 2018-11-27 11:19:30 · 174 阅读 · 0 评论 -
Java简易界面(爬虫)
package com.zhouzhou;import java.awt.*;import javax.swing.*;import java.awt.Dimension;import java.awt.Toolkit;import java.awt.event.ActionEvent;import java.awt.event.ActionListener;import java.net.*;import java.io.*;import java.util.regex.Matcher;原创 2020-12-31 19:04:55 · 219 阅读 · 0 评论 -
Java爬虫
import java.net.*;import java.io.*;import java.util.regex.Matcher;import java.util.regex.Pattern;import java.util.Scanner;public class URLConnDemo{ public static int readInputStream(InputStream inStream,String path) { try { ByteArrayOutpu原创 2020-12-30 18:17:26 · 98 阅读 · 1 评论 -
Python爬虫解析网页并生成m3u8文件
#-*- coding:gbk-*-import urllib2import re,sys,osimport jsonimport sslimport urllibreload(sys)sys.setdefaultencoding("gbk")context = ssl._create_unverified_context()def get_data(url): header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6原创 2020-07-04 14:01:14 · 1651 阅读 · 0 评论 -
获取某app直播源
有兴趣研究一下的请参考这里此压缩包包含:exe打包后的文件和py文件源码。说明:(1-11)按照提示操作之后会自动创建目录,并在对应位置生成m3u8文件。请用nodpad++打开生成后的m3u8文件,转化为utf-8格式,否则在vlc播放器无法显示标题。...原创 2020-06-27 19:01:06 · 7323 阅读 · 0 评论 -
Python raw_input输入 与字符串 在网址编码的不同
#-*- coding:utf-8 -*-import sysfrom urllib import quotereload(sys)sys.setdefaultencoding("utf-8")data=(raw_input(u"请输入查找信息:\n".encode(sys.getfilesystemencoding())))#data=data.encode("gbk")print quote(data)text="一只小猪"print quote(text)可以看到这里quo原创 2020-06-27 12:07:57 · 200 阅读 · 0 评论 -
爬取整个网站图片
网站:http://pic.netbian.com#-*- coding:utf-8 -*-import urllib2import re,sys,osreload(sys)sys.setdefaultencoding("utf-8")#http://pic.netbian.comimport requestsnum=1headers = { 'Referer':...原创 2020-05-01 19:40:49 · 618 阅读 · 0 评论 -
获取千帆直播地址
import requestsimport redef geturl(roomid): headers = { 'Origin': 'https://qf.56.com', 'Accept-Encoding': 'gzip, deflate', 'Accept-Language': 'en-US,en;q=0.8', ...原创 2020-03-03 09:12:54 · 575 阅读 · 0 评论 -
爬取斗鱼所有房间及直播源
# -*- coding: utf-8 -*-from douyu import mainimport requestsimport json,sysreload(sys)sys.setdefaultencoding("utf-8")list={ 'https://www.douyu.com/gapi/rkc/directory/0_0/list':u"all"...原创 2020-02-17 13:29:51 · 4463 阅读 · 0 评论 -
获取斗鱼房间以及直播地址
douyu.py#-*- coding:utf-8 -*-import requestsimport re,sysimport execjsimport timeimport hashlibdef get_tt(): tt1 = str(int(time.time())) tt2 = str(int((time.time() * 1000))) t...原创 2020-02-17 00:09:41 · 6990 阅读 · 3 评论 -
Python爬虫urllib2显示视频下载进度
#coding:utf-8import urllib import urllib2 import requestsimport random import uuidimport timeimport sysfrom threading import Thread#img_url = "https://p.ssl.qhimg.com/dm/48_48_100/t017aee03b...原创 2018-11-20 10:04:29 · 782 阅读 · 0 评论 -
Python 多线程爬取视频
#coding:utf-8import urllib import urllib2 import requestsimport random import uuidimport timeimport sysfrom threading import Thread#img_url = "https://p.ssl.qhimg.com/dm/48_48_100/t017aee03b...原创 2018-11-20 10:07:12 · 1107 阅读 · 0 评论 -
Python爬虫urllib显示下载进度
#!/usr/bin/python#encoding:utf-8import urllibimport osimg="http://vip.zuiku8.com/1810/妖精的尾巴最终季-01.mp4"def Schedule(a,b,c): ''' a:已经下载的数据块 b:数据块的大小 c:远程文件的大小 ''' per = 100.0*a*...原创 2018-11-20 10:14:50 · 1558 阅读 · 0 评论 -
Python利用文本保存的链接批量下载不存在的文件
import urllib import urllib2 import requestsimport random import uuid,osmy_headers={ "User-Agent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gec...原创 2018-12-07 17:52:52 · 680 阅读 · 0 评论 -
斗鱼视频下载
#coding:utf-8import urllib import urllib2 import requestsimport random import timeimport sysmy_headers={ "User-Agent":"MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Buil...原创 2019-06-18 14:11:17 · 3398 阅读 · 0 评论 -
bilibili视频爬取
#coding:utf-8import urllibimport urllib2import os,re,sysimport requestsimport jsonimport subprocessm=0 url = 'https://www.bilibili.com/video/av17600853?from=search&seid=1431552569569...原创 2019-07-03 14:35:50 · 1095 阅读 · 0 评论 -
bilibili视频下载工具
部分代码功能已添加至博客。打包好的exe已上传csdn,欢迎下载。原创 2019-07-07 14:38:54 · 4963 阅读 · 0 评论 -
PyQt4 爬虫 鼠标事件的综合应用
#-*- coding:utf-8 -*-from PyQt4.QtGui import *from PyQt4.QtCore import *import sys,reimport urllib2import argparseimport osimport randomimport requests#reload(sys)#sys.setdefaultencodin...原创 2019-08-08 19:51:04 · 301 阅读 · 0 评论 -
基于爬虫的网络图片预览器
1,第一个文本框可以直接复制网络图片地址,点击加载可以预览;点击转换图片可以下载,第二个文本框若为目录,图片会自动名称,为具体图片名称,以图片名称为准。2,双击鼠标可以切换图片,不过必须有data.txt,里面必须有图片的地址,这些图片并没有下载,必须点击转换图片才会下载。3,左键可以拖动图片到任意位置。4,滑轮可以缩放图片。5,文本框皆支持拖入路径的操作。6,也可以直接拖入本地图片预...原创 2019-08-11 15:23:44 · 313 阅读 · 0 评论 -
PyQt4 爬去腾讯信息的demo
#-*- coding:utf-8 -*-import sysfrom PyQt4 import QtGuifrom PyQt4 import QtCore import mathimport reimport osimport json,timeimport shutilimport threadingimport urllib2import requestsimpo...原创 2018-10-30 14:51:41 · 815 阅读 · 0 评论