- 博客(124)
- 收藏
- 关注
RSS订阅
原创 Python 正则 re 高级用法
https://docs.python.org/zh-cn/3/library/re.htmlhttp://blog.sina.com.cn/s/blog_6dc145220100zoe2.htmlhttps://www.cnblogs.com/dreamer-fish/p/5282679.htmlTable of Contents同时使用 re.I 和 re.S替换时...
2019-03-18 14:46:51
1202
原创 js 破解 xxxx安全xx共享平台 cookie
import requestsimport execjsimport reimport jsonurl = "https://www.cnvd.org.cn/"s = requests.session()one_req = s.get(url,verify=False)pp = re.search("cookie=(.*);location",one_req.text,re.S)res2 = execjs.eval(pp.group(1))ck = res2.split(';')[0.
2021-01-22 00:52:28
46949
原创 Ubuntu无界面Linux 使用pyppeteer 报错:pyppeteer.errors.BrowserError: Browser closed unexpectedly:
安装依赖sudo apt-get install gconf-service libasound2 libatk1.0-0 libatk-bridge2.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 libpango-1.0-0 libpangocairo-1.0-0 .
2020-06-03 16:54:30
1511
原创 Python 二龙湖爱情故事2020下载
import requestsimport refrom urllib.parse import urljoinimport osimport time# 获取所有ts的urldef one_movie_get_ts(url): s = requests.Session() result = s.get(url) pp = re.search(r'var main = "(.*?)";',result.text,) full_url = urljoin(url.
2020-05-22 15:14:04
1167
原创 Scrapy 后台运行
cd /home/spider/spider_admin/declare_spider/declare_spider/spiders && nohup scrapy crawl gjzscqj -a page=%s -a url=%s -a host=*** -a user=mostchh -a password=*** -a database=spider -a id_time=%s -s DOWNLOAD_DELAY=20 > /home/spider/spider_admin/.
2020-05-18 17:39:02
637
原创 js 破解 cookie获取
import requestsimport reimport execjsurl = 'http://www.gsxt.gov.cn/corp-query-entprise-info-hot-search-list.html?province=100000'headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/8.
2020-05-18 17:30:18
448
原创 js 破解 xxxx登录
aHR0cHM6Ly93d3cudGFwZC5jbi9jbG91ZF9sb2dpbnMvbG9naW4=import requestsimport execjsurl = 'https://www.tapd.cn/cloud_logins/login?ref=https%3A%2F%2Fwww.tapd.cn%2Fmy_worktable%3Fleft_tree%3D1'ph...
2020-04-21 17:07:56
2773
原创 nodejs 启动一个http服务
确保电脑已安装好Node.jsnpm install expressconst express = require('express');const app = express();index = 0;app.get('/', function (req, res) { index += 1; console.log(index); console.lo...
2020-04-17 17:59:15
902
原创 js 破解 XX二手车 cookie参数antipas获取
aHR0cHM6Ly93d3cuZ3VhemkuY29tL2h6Lw==Python 代码:import requestsimport reimport execjsurl = 'https://www.guazi.com/hz/'s = requests.Session()res = s.get(url)res.encoding = res.apparent_en...
2020-04-17 16:51:35
1046
1
原创 Scrapy 获取结束时 [scrapy.statscollectors] 的请求状态
{'downloader/request_bytes': 14072, 'downloader/request_count': 41, 'downloader/request_method_count/GET': 41, 'downloader/response_bytes': 381688, 'downloader/response_count': 41, 'downloader/r...
2020-04-17 15:20:14
1698
1
原创 selenium 实现 滑动验证码
https://blog.csdn.net/weixin_38621370/article/details/80812923from selenium import webdriverbrowser = webdriver.Chrome()browser.get('http://www.porters.vip/captcha/sliders.html')hover = brows...
2020-04-08 17:52:49
1118
原创 js逆向 zgrmyh 公开市场业务交易公告
http://www.pbc.gov.cn/zhengcehuobisi/125207/125213/125431/125475/17081/index1.htmlimport uuidimport randomimport requestsimport execjsimport reimport timeimport pymysqlfrom lxml import e...
2020-03-18 23:08:54
2191
原创 谷歌学术搜索
https://ac.scmor.com/window = {};hn='ac.scmor.com';var base64DecodeChars = new Array(-1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, ...
2020-03-14 16:19:19
443
原创 xx同城-二手车 字体反爬
https://sz.58.com/dazhong/pve_5864_0_3/?&PGTID=0d30001d-0000-4f84-37be-63c81c93e54b&ClickID=58#mainCon保存字体文件import base64str = 'AAEAAAALAIAAAwAwR1NVQiCLJXoAAAE4AAAAVE9TLzL4XQjtAAABjAAAA...
2020-03-09 14:03:49
311
原创 Python pip 设置豆瓣源
在 root 文件下创建一个 .pip 文件夹, 进入文件夹创建一个 pip.conf 的文件[global]index-url = http://pypi.douban.com/simpletrusted-host = pypi.douban.comtimeout = 120
2019-12-20 09:22:38
282
原创 js破解 八月x 登录破解
import execjsimport requestsdef login(username,password): login_url = 'http://so.techhg.com/login' headers = { "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,imag...
2019-12-09 17:15:44
355
原创 Linux 使用 crontab 定时执行 Scrapy
sh 文件[root@mostchh-04 spider]# which scrapy/soft/python3/bin/scrapy#!/bin/bashcd /home/spider/news_spider/news_spider/spiders && /soft/python3/bin/scrapy crawlallecho 111 >> ....
2019-11-18 10:53:57
164
原创 Python scrapy 下载图片
https://blog.csdn.net/weixin_42336574/article/details/80946587https://blog.csdn.net/weixin_42428357/article/details/100050648# -*- coding: utf-8 -*-import scrapyfrom urllib.parse import urljoi...
2019-11-07 10:37:45
210
原创 Python Scrapy 中 scrapy.Request 传参数
# -*- coding: utf-8 -*-# 中国产业竞争情报网# http://www.chinacir.com.cn/hyzx/import scrapyfrom urllib.parse import urljoinclass ZgcyjzqbwSpider(scrapy.Spider): name = 'zgcyjzqbw' allowed_doma...
2019-11-06 17:07:32
441
原创 Scrapy 运行多个爬虫spider文件
https://www.cnblogs.com/yunlongaimeng/p/11526466.html1. 在项目文件夹中新建一个commands文件夹2. 在command的文件夹中新建一个文件 crawlall.py3.在crawlall.py 中写一个command类，该类继承 scrapy.commandsfrom scrapy.commands import Scr...
2019-11-05 09:33:50
780
原创 requests 获取 cookie
import requestsurl = 'https://www.baidu.com'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'}s ...
2019-10-30 16:57:49
333
原创 base64 编码转图片
import base64data = { "data" : { "token" : "Mp6Mwmh/Eo5BTGl/QA8olg==", "base64Str" : "data:image/png;base64,/9j/4AAQSkZJRgABAgAAAQABAAD/2wBDAAgGBgcGBQgHBwcJCQgKDBQNDAsLDBkSEw8UHRofHh0aHBwg...
2019-10-16 11:06:24
416
原创 js破解 X金所
https://www.hfax.com/login.html#/?rsrc=https%3A%2F%2Fwww.hfax.com%2Findex.html%23%2F抓包分析搜索参数打断点跟进 发现 MD5加密imgToken 参数是请求验证码带着的import base64import requestsimport hashlibdef ...
2019-10-16 10:59:08
1041
原创 js破解 XX帮登录 MD5
https://m.wcbchina.com/login/login.html抓包分析登录XHR 断点找堆栈然后进行打断点发现是 MD5 可以直接用 Python 实现sign 值 是 时间戳的MD5值import requestsimport hashlibimport timeimport randomdef get_md5(s): ...
2019-10-15 12:00:56
342
原创 Ubuntu 18.04 安装 mysql 没有初始密码
https://www.cnblogs.com/williamjie/p/11126486.htmlsudo cat/etc/mysql/debian.cnfuser 是临时登录名password 是临时密码设置 root 密码:use mysql; update mysql.user set authentication...
2019-10-14 13:58:55
506
原创 js破解 X笔网登录
https://fenbi.com/page/home首先登录抓包直接搜索persistent 因为 password 比较大众断点调试把整个js 复制出来 node.js 调用 然后缺什么 补什么import requestsimport execjsdef login(phone,pwd): url = 'https:...
2019-10-14 10:13:44
689
原创 js破解 DNS登录
https://www.dns.com先登录找请求参数_token 在页面源码中找password 和 email 的加密参数用 execjs 实现import requestsimport execjsimport redef login(phone,passwd): url = 'https://www.dns.com/login.h...
2019-10-09 17:37:26
548
原创 js破解 极X助手 登录
https://www.jidaihome.com找到post 请求的 url 进行 XHR 断点没找到需要的内容,点击右侧的堆栈看看然后在进行打断点JavaScript加密库Crypto-JS的使用集成了很多加密解密算法https://github.com/brix/crypto-js 进行下载目录结构然后用 execjs 进行调用 ...
2019-10-08 19:01:11
358
原创 js破解 微博登录参数
抓请求包全局搜索 会发现很多参数在这个请求里多抓几次包 会发现 只有 su 和 sp 然后找加密的js代码su base64spPython 实现import requests,time, base64, re, jsonimport execjsclass WeiBo(object): def __init__(self...
2019-09-29 18:12:29
644
原创 js破解 楚楚 街的登录参数加密
http://seller.chuchujie.com/sqe.php?s=/User/index发起请求 找到登录参数找到加密参数import requestsimport hashlibdef test(name,passwd): url = 'http://seller.chuchujie.com/sqe.php?s=/AccountSelle...
2019-09-27 13:02:15
159
原创 js破解 登录 新榜 的参数
https://www.newrank.cn/先登录找请求参数找加密参数能用 Python重写的就用Python重写import randomimport mathimport requestsimport timeimport execjsdef nonce_get(): a = ["0", "1", "2", "3", "4", "...
2019-09-25 16:47:04
875
原创 js破解 中国国际航空公司登录
http://et.airchina.com.cn/www/jsp/userManager/myinfo.jsp随便登录一个账号密码,查看请求参数找加密参数 点击登录 触发抠出js代码var window = {};// window.RSAUtils = {setMaxDigits:undefined};// // window.RSAUtils.setMaxD...
2019-09-19 23:21:55
1173
3
原创 js破解 零度代理ip
https://nyloner.cn/proxy找到请求参数 发现 token 是个加密值直接搜索 token 发现很简单 直接用 Python实现就行查找内容生成js 生成内容(function (global) { // existing version for noConflict() var _Base64 = g...
2019-09-17 14:08:44
1257
2
原创 js破解 有道翻译
先找到 POST 请求参数找到 POST 请求后的参数 进行搜索 找到相应的 js 代码import timeimport requestsimport hashlibdef test(): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) App...
2019-09-16 08:50:49
176
原创 js破解 百度翻译
保存为 baidu.jsfunction n(r, o) { for (var t = 0; t < o.length - 2; t += 3) { var a = o.charAt(t + 2); a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a), ...
2019-09-09 11:55:59
257
原创 Python 处理 url 编码问题
from urllib import parseurl = 'C:/Users/admin/PycharmProjects/untitled/work/行业资讯网址/imgs/c93625fc60b446939f7bf83623774900.jpg'u= parse.quote(url)print(u)url2 = 'C%3A%2FUsers%2Fadmin%2FPycharmPro...
2019-08-27 14:50:12
296
原创 Python getopt的使用
https://docs.python.org/zh-cn/3.7/library/getopt.htmlgetopt.getopt(args, shortopts, longopts=[])args指的是当前脚本接收的参数，它是一个列表，可以通过sys.argv获得shortopts 是短参数 啥是短参数啊？ 类似于 这样：python test.py -h # 输出帮助信息l...
2019-08-26 14:44:53
87
原创 爬虫游戏 基础2 http://glidedsky.com
# -*- coding:utf-8 -*-import reimport requestsdef extract_sums(): url ='http://glidedsky.com/login' h = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537...
2019-08-15 16:58:36
331
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人