- 博客(17)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Django采坑记录
目前js逆向遇到的函数、解法或者其他注意事项集合0x01、Object(需要调用的函数名)(参数)用法详解后面的参数将传递到需要调用的函数名中，如下：// s.c对应e1 s.d对应e2 s.e对应sig// 这里注意一下：object(sig)(f)表示将f传递到sig里面去var f = Object(e1)(Object(e2)(JSON.stringify(l.payl...
2019-10-24 09:41:17
140
原创 Redis开发与运维 必备-电子书
Redis开发与运维电子书fulei出版链接: https://pan.baidu.com/s/12rlHhOKP7_72GE8a74lN1g 密码:eep2复制这段内容后打开百度网盘手机App，操作更方便哦感觉不错的竖起你的大拇指赞起来，啦~啦~啦~~~...
2019-09-29 22:54:35
1534
2
原创 必知必会——selenuim/pyppeteer模拟登陆防检测破解(非js注入那种，js注入现在也不能绝对有效解决)(这个是需要下载的)
前言对于使用模拟登陆等操作来爬虫的手段，已经很容易被检测了，网上很多教程是说在网站所有js代码执行之前来执行下面几个js代码来到达效果：js1 = '''() =>{Object.defineProperties(navigator,{ webdriver:{ get: () => false}})}'''js2 = '''() => {alert(window.navig...
2019-09-28 11:10:30
613
1
原创 爬虫：js逆向目前遇到的知识点集合
目前js逆向遇到的函数、解法或者其他注意事项集合0x01、Object(需要调用的函数名)(参数)用法详解后面的参数将传递到需要调用的函数名中，如下：// s.c对应e1 s.d对应e2 s.e对应sig// 这里注意一下：object(sig)(f)表示将f传递到sig里面去var f = Object(e1)(Object(e2)(JSON.stringify(l.payl...
2019-09-28 11:09:49
322
1
原创 一分钟学会——永久设置pip指定国内镜像源(含Windows和Linux)
前言首先来看一下Python临时指定安装的镜像源：命令格式：sudo pip3 install 包名 -i 镜像源urleg:sudo pip3 install redis -i http://pypi.douban.com/simple可能临时的指定镜像源安装已经不再符合你的口味了，因为每次安装都是要加上-i xxxx一大串，有点浪费生命啊,那么有没有永久设置镜像源的方法呢？那肯...
2019-09-28 11:08:54
1214
原创 自动扫描当前项目，生成python依赖清单
Python项目生成requirements.txt文件之pipreqs的使用使用pipreqs，这个工具的好处是可以通过对项目目录的扫描，发现使用了哪些库，生成依赖清单。1、先安装这个库：pip install pipreqs2、使用方式在项目的根目录下使用:pipreqs ./ --encoding=utf83、结果是：生成requirements.tx，可以根据这个文件下...
2019-09-28 11:08:13
211
原创 CSS字体反爬实战，10分钟就能学会
前言本次来解锁新姿势——CSS字体反爬。在解决这个字体反爬的路上，当我以为解决这个反爬手段的时候，最后验证总的答案的时候，被打脸了！！！又被默默设埋伏了，踩了一个坑，巨大的，为何悲伤辣么大 <(－︿－)>不将html源码页面下载下来还真发现不了在哪写错了，不多说，赶紧来看一下呗~~0x01、分析目标网站还是同样的手段，打开F12进行选中数字，查看它的标签内容是什么...
2019-09-28 11:07:26
211
原创 woff字体反爬实战，10分钟就能学会
声明：本帖子仅是用于学习用途，请勿与用于恶意破坏别人网站，本人不承担法律责任。来继续学爬虫呀！前言简单描述一下这种手段，html源码的数字跟页面展示的数字是不一致的！当时就一脸黑人问号，嗯？？？经过分析，当前这种字体反爬机制是：通过获取指定链接的woff字体文件，然后根据html源码的数字去woff字体文件里面查找真正的数字，讲到底就是一个映射关系/查找字典。如html源码是123，去w...
2019-09-28 11:06:09
327
原创 运维必备_ganglia集群监控服务端及客户端配置实战
0x01、前言Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率，I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。ganglia还是很受欢迎的一个集群...
2019-09-28 11:04:23
237
原创 最详细nagios配置说明及注意事项
0x00、前言至于安装这里不再讲述，直接讲述配置出现的小坑、大坑及神坑！！（好了，我也不知道下面提到的算不算神坑）0x01、依赖环境先讲述一下这里需要的依赖是：nagios、ganglia、apache、Python2.7（及可能使用到Python2.7，为啥呢？因为你使用py脚本来扩展监控的话，那么，这里也需要安装一下，好像centos或者ubantu都是自带Python2.7的）0x0...
2019-09-28 11:03:24
448
原创 ubuntu系统下载路径(可以收藏免得以后再找)
Tips:这里只是记录一下找镜像资源的文档，嘻嘻(^__^) ……由于官网服务器在国外，下载速度奇慢，所以我们可以利用阿里云镜像下载ubuntuubuntu 14.04：http://mirrors.aliyun.com/ubuntu-releases/14.04/ubuntu 16.04：http://mirrors.aliyun.com/ubuntu-releases/16.04/...
2019-09-28 11:02:01
695
原创 从pdf提取图片，有两个库可以提取fitz（要install pymupdf）、pdfminer（install pdfminer3k）
前言:下面的代码有注释，下面的也是参考别人的，但是忘记来源了，因为时间隔太久了，哪位小伙伴看到了，可以提一下链接方法一，这个测试是有用的，fitz（要install pymupdf）#!/usr/bin/python3# -*- coding: utf-8 -*-# @Time : 2019/3/19 08:51# @Author : qizai# @File : fet...
2019-09-28 11:00:29
1130
转载 常用的Git命令含义，妈妈再也不用担心我操作出错了！
Git 常用命令如下：git init 在本地新建一个repo,进入一个项目目录,执行git init,会初始化一个repo,并在当前文件夹下创建一个.git文件夹.git clone 获取一个url对应的远程Git repo, 创建一个local copy. 一般的格式是git clone [url].clone下来的repo会以u...
2019-09-28 10:56:25
146
原创 安装坑：elasticsearch-rtf、elasticsearch-head、jdk8以上、nodejs（npm）
下面来讲述一下，我在做爬虫搜索引擎的时候，使用elasticsearch搜索引擎遇到的坑，安装elasticsearch-rtf、elasticsearch-head，及其启动遇到的问题，希望能够帮到你1. GitHub搜索elasticsearch-rtf，下载下来，然后看到依赖环境，必须是jdk8以上的，然后是jdk不是jre1.1 elasticsearch-rtf是需要把pl...
2019-09-28 10:54:18
151
原创 Python最好用的第三方库资源下载网址
0x01、Windows安装python库，如果你python使用pip安装库文件不成功的话，你可以尝试下面的网址，里面文件太多，你可以ctrl+f来搜索你需要的文件，找到必须要的文件download下来，在本地使用pip安装就行了链接：https://www.lfd.uci.edu/~gohlke/pythonlibs/#genshi网站首页如下图：...
2019-09-28 10:50:33
909
1
翻译 详细讲解aiohttp异步请求及使用，高效率
0. 前言本文翻译自aiohttp的官方文档，如有纰漏，欢迎指出。aiohttp分为服务器端和客户端，本文只介绍客户端。另外我已经对 aiohttp 和 asyncio进行了封装，可以参考我的 github 地址：https://github.com/web-trump/ahttp由于上下文的缘故，请求代码必须在一个异步的函数中进行：async def fn(): ...
2019-09-28 10:47:36
1768
1
转载 Python selenium 自动化测试，一定要会用selenium的等待，三种等待方式解读
发现太多人不会用等待了，博主今天实在是忍不住要给大家讲讲等待的必要性。很多人在群里问，这个下拉框定位不到、那个弹出框定位不到…各种定位不到，其实大多数情况下就是两种问题：1 有frame，2 没有加等待。殊不知，你的代码运行速度是什么量级的，而浏览器加载渲染速度又是什么量级的，就好比闪电侠和凹凸曼约好去打怪兽，然后闪电侠打完回来之后问凹凸曼你为啥还在穿鞋没出门？凹凸曼分分中内心一万只羊...
2019-09-28 10:45:48
271
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人