Python
Test_C.
这个作者很懒,什么都没留下…
展开
-
js 破解 xxxx安全xx共享平台 cookie
import requestsimport execjsimport reimport jsonurl = "https://www.cnvd.org.cn/"s = requests.session()one_req = s.get(url,verify=False)pp = re.search("cookie=(.*);location",one_req.text,re.S)res2 = execjs.eval(pp.group(1))ck = res2.split(';')[0.原创 2021-01-22 00:52:28 · 46949 阅读 · 0 评论 -
Ubuntu无界面Linux 使用pyppeteer 报错:pyppeteer.errors.BrowserError: Browser closed unexpectedly:
安装依赖sudo apt-get install gconf-service libasound2 libatk1.0-0 libatk-bridge2.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 libpango-1.0-0 libpangocairo-1.0-0 .原创 2020-06-03 16:54:30 · 1511 阅读 · 0 评论 -
Python 二龙湖爱情故事2020下载
import requestsimport refrom urllib.parse import urljoinimport osimport time# 获取所有ts的urldef one_movie_get_ts(url): s = requests.Session() result = s.get(url) pp = re.search(r'var main = "(.*?)";',result.text,) full_url = urljoin(url.原创 2020-05-22 15:14:04 · 1167 阅读 · 0 评论 -
Scrapy 后台运行
cd /home/spider/spider_admin/declare_spider/declare_spider/spiders && nohup scrapy crawl gjzscqj -a page=%s -a url=%s -a host=*** -a user=mostchh -a password=*** -a database=spider -a id_time=%s -s DOWNLOAD_DELAY=20 > /home/spider/spider_admin/.原创 2020-05-18 17:39:02 · 637 阅读 · 0 评论 -
js 破解 cookie获取
import requestsimport reimport execjsurl = 'http://www.gsxt.gov.cn/corp-query-entprise-info-hot-search-list.html?province=100000'headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/8.原创 2020-05-18 17:30:18 · 448 阅读 · 0 评论 -
js 破解 xxxx登录
aHR0cHM6Ly93d3cudGFwZC5jbi9jbG91ZF9sb2dpbnMvbG9naW4=import requestsimport execjsurl = 'https://www.tapd.cn/cloud_logins/login?ref=https%3A%2F%2Fwww.tapd.cn%2Fmy_worktable%3Fleft_tree%3D1'ph...原创 2020-04-21 17:07:56 · 2773 阅读 · 0 评论 -
js 破解 XX二手车 cookie参数antipas获取
aHR0cHM6Ly93d3cuZ3VhemkuY29tL2h6Lw==Python 代码:import requestsimport reimport execjsurl = 'https://www.guazi.com/hz/'s = requests.Session()res = s.get(url)res.encoding = res.apparent_en...原创 2020-04-17 16:51:35 · 1046 阅读 · 1 评论 -
Scrapy 获取结束时 [scrapy.statscollectors] 的请求状态
{'downloader/request_bytes': 14072, 'downloader/request_count': 41, 'downloader/request_method_count/GET': 41, 'downloader/response_bytes': 381688, 'downloader/response_count': 41, 'downloader/r...原创 2020-04-17 15:20:14 · 1698 阅读 · 1 评论 -
selenium 实现 滑动验证码
https://blog.csdn.net/weixin_38621370/article/details/80812923from selenium import webdriverbrowser = webdriver.Chrome()browser.get('http://www.porters.vip/captcha/sliders.html')hover = brows...原创 2020-04-08 17:52:49 · 1118 阅读 · 0 评论 -
xx同城-二手车 字体反爬
https://sz.58.com/dazhong/pve_5864_0_3/?&PGTID=0d30001d-0000-4f84-37be-63c81c93e54b&ClickID=58#mainCon保存字体文件import base64str = 'AAEAAAALAIAAAwAwR1NVQiCLJXoAAAE4AAAAVE9TLzL4XQjtAAABjAAAA...原创 2020-03-09 14:03:49 · 311 阅读 · 0 评论 -
js逆向 zgrmyh 公开市场业务交易公告
http://www.pbc.gov.cn/zhengcehuobisi/125207/125213/125431/125475/17081/index1.htmlimport uuidimport randomimport requestsimport execjsimport reimport timeimport pymysqlfrom lxml import e...原创 2020-03-18 23:08:54 · 2191 阅读 · 0 评论 -
Python pip 设置豆瓣源
在 root 文件下创建一个 .pip 文件夹, 进入文件夹创建一个 pip.conf 的文件[global]index-url = http://pypi.douban.com/simpletrusted-host = pypi.douban.comtimeout = 120原创 2019-12-20 09:22:38 · 282 阅读 · 0 评论 -
js破解 X金所
https://www.hfax.com/login.html#/?rsrc=https%3A%2F%2Fwww.hfax.com%2Findex.html%23%2F抓包分析搜索参数打断点跟进 发现 MD5加密imgToken 参数是请求验证码带着的import base64import requestsimport hashlibdef ...原创 2019-10-16 10:59:08 · 1041 阅读 · 0 评论 -
js破解 八月x 登录破解
import execjsimport requestsdef login(username,password): login_url = 'http://so.techhg.com/login' headers = { "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,imag...原创 2019-12-09 17:15:44 · 355 阅读 · 0 评论 -
Linux 使用 crontab 定时执行 Scrapy
sh 文件[root@mostchh-04 spider]# which scrapy/soft/python3/bin/scrapy#!/bin/bashcd /home/spider/news_spider/news_spider/spiders && /soft/python3/bin/scrapy crawlallecho 111 >> ....原创 2019-11-18 10:53:57 · 164 阅读 · 0 评论 -
Python scrapy 下载图片
https://blog.csdn.net/weixin_42336574/article/details/80946587https://blog.csdn.net/weixin_42428357/article/details/100050648# -*- coding: utf-8 -*-import scrapyfrom urllib.parse import urljoi...原创 2019-11-07 10:37:45 · 210 阅读 · 0 评论 -
Python Scrapy 中 scrapy.Request 传参数
# -*- coding: utf-8 -*-# 中国产业竞争情报网# http://www.chinacir.com.cn/hyzx/import scrapyfrom urllib.parse import urljoinclass ZgcyjzqbwSpider(scrapy.Spider): name = 'zgcyjzqbw' allowed_doma...原创 2019-11-06 17:07:32 · 441 阅读 · 0 评论 -
Scrapy 运行多个爬虫spider文件
https://www.cnblogs.com/yunlongaimeng/p/11526466.html1. 在项目文件夹中新建一个commands文件夹2. 在command的文件夹中新建一个文件 crawlall.py3.在crawlall.py 中写一个command类,该类继承 scrapy.commandsfrom scrapy.commands import Scr...原创 2019-11-05 09:33:50 · 780 阅读 · 0 评论 -
requests 获取 cookie
import requestsurl = 'https://www.baidu.com'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'}s ...原创 2019-10-30 16:57:49 · 333 阅读 · 0 评论 -
base64 编码转图片
import base64data = { "data" : { "token" : "Mp6Mwmh/Eo5BTGl/QA8olg==", "base64Str" : "data:image/png;base64,/9j/4AAQSkZJRgABAgAAAQABAAD/2wBDAAgGBgcGBQgHBwcJCQgKDBQNDAsLDBkSEw8UHRofHh0aHBwg...原创 2019-10-16 11:06:24 · 416 阅读 · 0 评论 -
js破解 XX帮登录 MD5
https://m.wcbchina.com/login/login.html抓包分析登录XHR 断点找堆栈然后进行打断点发现是 MD5 可以直接用 Python 实现sign 值 是 时间戳的MD5值import requestsimport hashlibimport timeimport randomdef get_md5(s): ...原创 2019-10-15 12:00:56 · 342 阅读 · 0 评论 -
js破解 X笔网登录
https://fenbi.com/page/home首先登录抓包直接搜索persistent 因为 password 比较大众断点调试把整个js 复制出来 node.js 调用 然后缺什么 补什么import requestsimport execjsdef login(phone,pwd): url = 'https:...原创 2019-10-14 10:13:44 · 689 阅读 · 0 评论 -
Python 有17个人围成一圈(编号为:0 ~ 16),从第0号的人开始从1开始报数,凡报到3的倍数的人离开圈子,然后再数下去。直到最后只剩下一个人为止 。问此人原来的位置是什么号码
Python 有17个人围成一圈(编号为:0 ~ 16),从第0号的人开始从1开始报数,凡报到3的倍数的人离开圈子,然后再数下去。直到最后只剩下一个人为止。问此人原来的位置是什么号码Python代码实现运行结果Python代码实现def test(ren,count=0): a = len(ren) b = count for i in ren: b +...原创 2018-10-22 22:26:04 · 5085 阅读 · 2 评论 -
Python 用 re 批量替换 HTML 标签
Python 用 re 批量替换 HTML 标签批量替换# HTML 替换def th(neirong): tihuan = { '<!--.*?-->': '', '</div>': '<br>', '<style.*?</style>': ''原创 2018-10-23 11:45:44 · 2272 阅读 · 0 评论 -
Python生成指点范围的素数 和 制定范围的水仙花数
判断101-200之间有多少个素数,并输出所有素数。判断素数的方法:用一个数分别去除2到sqrt(这个数),如果能被整除,则表明此数不是素数,反之是素数。def t(start,end): for num in range(start,end): a = True for i in range(2,num): if num %...原创 2018-11-15 18:14:50 · 209 阅读 · 2 评论 -
Python 将一个正整数分解质因数。例如:输入90,打印出90=2*3*3*5。
Python 将一个正整数分解质因数。例如:输入90,打印出90=2 * 3 * 3 * 5。from functools import reducedef test(num,l = []): # 判断是否是素数标识符 a = True for i in range(2,num): if num%i == 0: a = Fals...原创 2018-11-15 23:13:03 · 4107 阅读 · 0 评论 -
Python 迭代器 generator 和 Iterable
Python 迭代器理解迭代器 generator 要清楚一个概念,可以进行for 循环的为可迭代对象Iterable,并不是迭代器,迭代器是指以被 next() 函数调用并不断返回下一个值的对象,表示一个惰性计算的序列。是迭代器一定是可迭代对象,可迭代对象不一定是迭代器。Python的for循环本质上就是通过不断调用next()函数实现的可迭代对象:list、tuple、dict、set...原创 2018-11-14 22:11:56 · 239 阅读 · 0 评论 -
Python装饰器
Python 装饰器简言之,python装饰器就是用于拓展原来函数功能的一种函数,这个函数的特殊之处在于它的返回值也是一个函数,使用python装饰器的好处就是在不用更改原函数的代码前提下给函数增加新的功能。import time,random# 装饰器传递参数def test(t=123): print(t) # 要装饰的函数 def outer(func):...原创 2018-11-14 23:08:37 · 121 阅读 · 0 评论 -
Python BeautifulSoup 使用 选择多个 class
import requestsfrom bs4 import BeautifulSoup as bsurl = 'https://car.autohome.com.cn/price/brand-40.html#pvareaid=2042193'html = requests.get('https://car.autohome.com.cn/price/brand-40.html#pvar...原创 2018-11-20 16:43:55 · 8501 阅读 · 0 评论 -
Python BeautifulSoup 实例使用
汽车之家 Beautiful 使用import requestsfrom bs4 import BeautifulSoup as bsurl = 'https://car.autohome.com.cn/price/brand-40.html#pvareaid=2042193'html = requests.get('https://car.autohome.com.cn/pri...原创 2018-11-20 18:48:54 · 267 阅读 · 0 评论 -
Python 打印菱形
Python 打印菱形def test(num): for i in range(0,num+1): print(' '*(num-i),'*'*(i*2+1)) for n in range(num-1,-1,-1): print(' '*(num-n),'*'*(n*2+1))test(7) * ***...原创 2018-11-16 22:27:32 · 2766 阅读 · 0 评论 -
Python在终端输出彩色字体
https://www.cnblogs.com/hellojesson/p/5961570.html书写格式:\033[显示方式;前景色;背景色m + 结尾部分:\033[0m**注意:开头部分的三个参数:显示方式,前景色,背景色是可选参数,可以只写其中的某一个;另外由于表示三个参数不同含义的数值都是唯一的没有重复的,所以三个参数的书写先后顺序没有固定要求,系统都能识别;但是,建议按照...原创 2018-11-16 23:43:37 · 417 阅读 · 0 评论 -
Python pyquery 使用
https://cuiqingcai.com/5551.htmlTable of Contentshttps://cuiqingcai.com/5551.html基本CSS选择器查找节点find() 查找子孙节点children() 查找子节点parent() 查找父节点siblings() 兄弟节点遍历单个节点可以直接打印输出多个节点需要调用item...原创 2018-11-21 18:50:48 · 305 阅读 · 0 评论 -
Python selenium 实现微博登录
from selenium import webdriverimport timeweb = webdriver.Chrome()web.get('https://weibo.com/')time.sleep(3)web.set_window_size(1500,900)time.sleep(1)web.find_element_by_id('loginname').send_k...原创 2018-11-23 16:20:14 · 745 阅读 · 0 评论 -
Python selenium 使用
https://blog.csdn.net/weixin_36279318/article/details/79475388Chrome驱动文件下载:https://chromedriver.storage.googleapis.com/index.htmlSelenium提供了8种定位方式:id name class name tag name link text part...原创 2018-11-23 16:22:27 · 217 阅读 · 0 评论 -
Python Xpath 使用
https://cuiqingcai.com/5545.htmlhttp://www.w3school.com.cn/xpath/index.aspTable of Contents选取未知节点 实例:实例所有节点 子节点和子孙节点/ 子节点 // 子孙节点父节点.. 或 parent::* 获取父节点属性匹配过滤@ 符号进行属性过滤取属性值...原创 2018-11-21 23:40:04 · 269 阅读 · 0 评论 -
Python Xpath 提取指定 html 和 解码 HTMLDecode html 模块
Python Xpath 提取指定 html 和 解码 HTMLDecode html 模块etree.tostring() 获取指定 html 源码unescape()解码 HTMLDecodeescape() 编码 HTMLDecodeimport requestsfrom lxml import etreeimport html as hth = reques...原创 2018-11-22 00:29:48 · 2217 阅读 · 0 评论 -
Python urllib 模块
Table of Contents请求页面urllib.request.urlopen() 构造 HTTP 请求urlopen()函数的APIdata参数:urllib.parse.urlencode(字典) 将字典转换为字符串data 接收bytes 类型timeout 参数:设置超时时间,单位为秒,意思就是如果请求超出了设置的这个时间,还没有得到响应,就会抛出异常。如果不指...原创 2018-11-22 18:36:36 · 517 阅读 · 0 评论 -
Python requests
Table of Contentsget 请求requests.get()params参数json() 请求的是 json格式的可以调用json()方法添加headers 请求头抓取二进制文件post 请求响应判断请求是否成功高级文件上传cookie 模拟登录SSL证书验证verfiy参数改为False会话维持 session代理设...原创 2018-11-23 00:02:33 · 143 阅读 · 0 评论 -
Python scrapy 使用 爬取JOB伯乐在线
scrapy创建项目# 创建一个项目scrapy startproject 项目名称cd 进入项目目录# 生成一个爬虫文件scrapy genspider 爬虫名称 www.baidu.com# 运行一个爬虫scrapy crawl 爬虫名称scrapy.cfg :项目的配置文件items.py :项目的目标文件pipelines.py :项目的管道文件...原创 2018-11-27 01:24:24 · 390 阅读 · 0 评论