自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Python3 解析m3u8文件下载所有ts文件,并快速合并为mp4文件

import os import time import m3u8 import requests from glob import iglob from natsort import natsorted from urllib.parse import urljoin from dataclas...

2019-02-16 22:41:47 5307 4

原创 JS练手分析:两行代码解决抠下来的RSA代码报错问题

RSA是网站中经常用到了的加密算法,看到群友忙活了半天还搞不定抠下来的代码,总是报错,都不知道怎么解决这些报错问题。我在这里稍微提一下吧。 上次提到的Github地址: https://github.com/travist/jsencrypt/blob/master/bin/jsencr...

2019-12-28 17:59:57 92 0

原创 调试小技巧:用浏览器来调试你抠出来的JS代码

为啥要用浏览器来调试代码,因为随着 各大网站 检测 浏览器指纹 的增多,在浏览器上面调试显得尤为重要。试想一下,如果 抠的代码在浏览器上面都跑不通,在node上面更不可能跑通了。 我在调试JS的时候绝大部分的顺序是这样的: 浏览器调试OK ---> node 缺啥补啥 ---&g...

2019-12-28 17:57:16 159 0

原创 抠出来的代码没法用?手把手教你缺啥补啥

原标题:爬虫入门之查找JS入口篇(十) ---下 之前一个留了个题给大家,但是下载的人貌似不多,今天讲讲怎么来解它吧。请确保电脑已安装node环境。 下载文件,保存到电脑上,我这里保存到了E盘。 链接: https://pan.baidu.com/s/1agS_1ytojgX...

2019-10-13 10:00:41 153 0

原创 Python AES加密 与 JS AES加密

import execjs from Crypto.Cipher import AES from binascii import b2a_hex, a2b_hex def js_aes(text): jscode = """ function enc...

2019-06-28 15:51:43 1060 7

原创 爬虫Tips

1:eval特性 import execjs jscode = """ var a = "12345"; return a; """ ctx = execjs.compile(jscode)...

2019-06-25 15:15:27 111 0

原创 nodejs学习笔记

1:nodejs 中等效的window.atob 与 window.btoa window.btoa函数等效:Buffer.from('Hello World!').toString('base64'); window.atob函数等效:Buffer.fr...

2019-06-12 08:59:08 93 0

原创 使用Python3 编写浏览器头信息转JSON格式的小脚本

1.需求:在破解js加密时需要经常讲头信息复制到代码中使用,实在是受够了每次手动转换,因此写个小工具,方便以后使用。 2.代码: import pprint def get_headers(text): texts = text.strip().split('\n...

2019-04-04 17:32:48 167 0

原创 Python3调用aria2下载文件

import os import time from pyaria2 import Aria2RPC def get_file_from_url(link, file_name): jsonrpc = Aria2RPC() set_dir = os.path.dirname(__...

2019-03-20 10:07:20 4993 5

原创 Python3使用mmap进行文件内容替换

你想将文件里面的所有'hello'字符串全部换成'nihao',而又不想创建临时文件,可以尝试如下方法: import mmap import contextlib def modify_text_file(file,src,dst): if...

2019-03-10 13:11:55 523 0

原创 使用Python3 快速找出文件夹中所有相同的文件

import glob import hashlib from time import perf_counter def get_file_md5(file): md5 = hashlib.md5() with open(file,'rb') as fp: ...

2019-03-05 15:38:53 492 0

原创 一行代码将全角字符转换为半角字符

需求1:将 'abcdefgABCDEFG' 转换为 'abcdefgABCDEFG'. 解决: In [1]: import unicodedata In [2]: a = 'abcdefgABCDEFG' In [3]: b ...

2019-02-28 14:45:14 636 0

原创 用Python3写一个12306自动购票软件

请访问GitHub地址:https://github.com/caijin128/12306

2019-02-17 18:48:11 714 0

原创 调用百度API,图片无损放大

# -*- coding: UTF-8 -*- import base64 import requests def get_img_base64str(image): with open(image,'rb') as fp: imgbase64 = ...

2019-02-14 21:41:52 1143 0

原创 调用第三方接口识别12306验证码并自动登陆

import time import json import base64 import random import requests from bs4 import BeautifulSoup def get_pic_point(image): point_map = { ...

2019-02-13 20:49:13 1062 0

原创 使用Python 3编写12306余票查询脚本

import os import json import requests from prettytable import PrettyTable from requests.exceptions import RequestException def getResponse(url,**kw...

2019-02-13 20:44:08 263 0

原创 获取12306站点对照信息,并保持为json文件

import time import json import requests from requests.exceptions import RequestException def getResponse(url): try: headers = {'Us...

2018-12-27 21:59:56 1580 3

原创 使用Appium 登录手机QQ

#coding=utf-8 import time from appium import webdriver desired_caps = {} desired_caps['platformName'] = '系统名称' desired_caps[�...

2018-12-16 16:51:13 708 0

原创 C++调用Python模块

一:环境VS2015,Python3.7,Windows 64位操作系统 二:环境配置自行百度 三:新建VS控制台工程,并在工程目录下创建PyModule.py文件 四:编写PyModule.py文件,代码如下: def retNum(): return 12345 def r...

2018-11-12 20:31:00 214 0

原创 Python3 使用pymysql库操作mysql

1.先安装好mysql及pymysql库。 pip install pymysql 2.连接mysql. In [1]: import pymysql In [2]: db = pymysql.connect(host = 'localhost',user = &...

2018-10-19 15:36:55 543 1

原创 Python3 黑板客爬虫闯关第三关

黑板客爬虫闯关第二关成功后的页面: http://www.heibanke.com/accounts/login/?next=/lesson/crawler_ex02/ 需要注册,注册后登陆: 来到这个站点: http://www.heibanke.com/lesson/crawler_e...

2018-10-12 00:05:55 157 0

原创 Python3 黑板客爬虫闯关第二关

#coding=utf-8 import requests from requests.exceptions import RequestException from bs4 import BeautifulSoup def getHtml(url,i): data = {"...

2018-10-11 21:36:41 136 0

原创 Python3 黑板客爬虫闯关第一关

#coding=utf-8 import re import requests from requests.exceptions import RequestException from bs4 import BeautifulSoup def getHtml(url): try: ...

2018-10-11 21:26:16 195 0

原创 Python3 三种办法解决split结果包含空字符串的问题

先看例子: In [1]: s = "abc,,,fefdaf,,,123fad,,fsdfa,,," In [2]: s.split(',') Out[2]: ['abc', '', '',...

2018-10-10 21:08:43 7592 1

原创 Python3 操作MongoDB数据库

以上一篇的数据为例子。 In [1]: import pymongo #引入pymongo模块 In [2]: client = pymongo.MongoClient(host = 'localhost',port = 27017) #进行连接 In [3]...

2018-10-07 09:19:03 3173 3

原创 Python3 Scrapy框架学习四:爬取的数据存入MongoDB

1. 新建一个scrapy项目: 2.使用PyCharm打开该项目 3.在settings.py文件中添加如下代码: #模拟浏览器,应对反爬 USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537...

2018-10-07 08:03:31 906 0

原创 Python3 Scrapy框架学习三:爬取煎蛋网加密妹子图片(全爬)

以下操作基于Windows平台。 打开CMD命令提示框: 新建一个项目如下: 打开项目里的setting文件,添加如下代码 IMAGES_STORE = './XXOO' #在当前目录下新建一个XXOO文件夹 MAX_PAGE = 40 #定义爬取的总得页数 ...

2018-10-04 13:43:15 333 0

原创 Python3 Scrapy框架学习二:爬取豆瓣电影Top250

打开项目里的items.py文件,定义如下变量, import scrapy from scrapy import Item,Field class DoubanItem(scrapy.Item): # define the fields for your item here li...

2018-10-04 08:15:43 192 0

原创 Python3 Scrapy框架学习一:爬取猫眼Top100榜

以下操作基于Windows平台。 打开CMD命令提示框: 输入 如下命令: 打开项目里的items.py文件,定义如下变量,用于存储。 class MaoyanItem(scrapy.Item): # define the fields for your item here ...

2018-10-03 10:26:11 734 1

原创 Python3 爬取Ajax加载的网页信息

url:http://www.kfc.com.cn/kfccda/storelist/index.aspx #coding=utf-8 import re import time import requests from requests.exceptions import RequestEx...

2018-10-02 09:33:04 780 0

原创 Python3 Ajax加载的网页爬取

url:今日头条,搜索“街拍”并打开 https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D 浏览器:firefox 分析:打开页面,空白处单击鼠标右键,选择 ”查看元素” 在下面弹出元素框内选择 网络,并在右边的框内选择 XH...

2018-10-02 08:53:34 595 0

原创 Python3 css选择器实战(二):爬取猫眼电影网

#coding=utf-8 import re import time import requests from requests.exceptions import RequestException from bs4 import BeautifulSoup from prettytable ...

2018-10-01 16:07:44 303 0

原创 Python3 模拟微信群发功能

#coding=utf-8 from wxpy import * if __name__=='__main__': bot = Bot() friend = bot.friends() lfri = [] for fri in frie...

2018-09-29 23:06:13 1107 0

原创 Python3 获取CSDN博客所有文章标题及阅读数

#coding=utf-8 import re import requests from bs4 import BeautifulSoup from prettytable import PrettyTable def getHtml(url): headers = {'...

2018-09-29 00:04:05 187 0

原创 Python3 CssSelector定位方式实例详解

例子: html = """ <div id='content'> <ul class='list'> <...

2018-09-26 23:07:17 3993 4

原创 Python3 css选择器实战(一)

首先安装cssselect pip install cssselect 再安装lxml pip install lxml #coding=utf-8 import requests from lxml import etree def getHtml(url): pa...

2018-09-26 22:03:50 1171 0

原创 Python3 爬取豆瓣图书Top250并存入Excel中

#coding=utf-8 import re import xlwt import requests from bs4 import BeautifulSoup def getHtml(url): headers = {'User-Agent': ...

2018-09-26 21:34:21 1071 0

原创 python3 爬取豆瓣电影TOP250,漂亮表格彩色显示

#coding=utf-8 import requests import re from bs4 import BeautifulSoup from prettytable import PrettyTable from colorama import Fore,Style def g...

2018-09-25 21:28:06 271 4

转载 用Python编写C\C++代码统计工具

代码参考:https://foofish.net/how-to-count-code.html import os def parse(path): in_multi_comment = False comments,blanks,codes = 0,0,0 ...

2017-12-22 09:39:55 368 0

原创 2种方法简单爬取JS加载的动态数据

参考原文:http://www.cnblogs.com/buzhizhitong/p/5697683.html 需要爬取的网站数据: http://gkcx.eol.cn/soudaxue/queryProvince.html?page=1 一共是165页,将page=1 变成其他的数字...

2017-12-02 11:51:18 54989 5

提示
确定要删除当前文章?
取消 删除