python
文章平均质量分 83
全村之希望
高级爬虫工程师,Python开发工程师。专注网站Js逆向分析,安卓app逆向爬虫!
展开
-
全面拥抱 FastApi — 响应模型
大家好,我是村长~~ 今日fastApi 干货来了,文末还有书籍赠送噢~~在 fastApi 中可以定义请求体body模型,关于这部分内容可以查看之前的文章地址:同样的,fastApi...原创 2021-09-08 19:06:55 · 502 阅读 · 0 评论 -
通过 Python 更新 Elasticsearch 数据方法大全
大家好,我是村长今天总结一下通过Python 更新 Elasticsearch 数据的几个方法Elasticsearch 是一个实时的分布式搜索分析引擎,它能让你以前所未有的速度和规模,去探索你的数据。 它被用作全文检索、结构化搜索、分析以及这三个功能的组合全局更新在 Elasticsearch 中,通过指定文档的 _id, 使用 Elasticsearch 自带的 index api 可以实现插入一条 document , 如果该 _id 已存在,将直接更新该 document因此,通过i原创 2021-03-11 09:03:37 · 813 阅读 · 1 评论 -
Python自动抢火车票神器!!
一年一度的抢火车票大战正式拉开序幕…然饿大多数人碰到的是这种情况:当你满心期待摩拳擦掌准备抢票的时候,你会发现一票难求!想回趟家真难!那么作为程序猿的你,当然要用程序猿的方式来抢票!下面介绍几款在 github 上面很火的抢票工具!testerSunshine/12306目前 GitHub 上面最火的抢票软件,基于 Python 编写。支持以下功能:自动打码自动登录准点预售和捡漏智能候补邮件通知server酱通知该项目用到了 Tensorflow、keras、sklearn 等深度原创 2021-01-14 14:22:00 · 2307 阅读 · 2 评论 -
亲测有效!抢茅台脚本火了!Github热搜榜第一名!
抢 ???? 茅台的脚本火了!最近几天 Github 上有个异常火爆的项目,那就是用代码自动抢茅台已经连续霸占 Github 热搜榜好几天了!!大家都知道茅台一瓶难求!为什么?因为中间有巨大的利益差价,各大平台上面一瓶茅台售价 1499 元今年中秋期间很多零售商收购价 2800,甚至更高!还是抢着要…我一个朋友,真的是朋友。今天就用这个脚本抢到了两瓶茅台!2000+ 到手!这个项目操作也很简单,用 Python 写的。只需要在配置里面改两个参数, eid fp 即可在下单页面,控制台原创 2020-12-31 15:49:26 · 29092 阅读 · 71 评论 -
全面拥抱FastApi-优雅的处理HTTPException
在开发接口或者服务的时候,经常会遇到需要给客户端返回异常错误例如:用户操作权限不够参数错误请求的资源不存在..众所周知,因客户端或调用方的原因导致出错的,返回的状态码是以 4 开头的 (400~499)比如常见的 404 Not Found, 资源不存在...为了直观友好的给客户端返回错误, 在 FastApi 中一般使用 HTTPExceptionfrom fastapi import FastAPI, HTTPExceptionapp =&原创 2020-12-31 15:46:24 · 2802 阅读 · 0 评论 -
当Django遇上Pyecharts将碰撞出怎样的火花……
本文将介绍如何在 web 框架 Django 中使用可视化工具 Pyecharts, 看完本教程你将掌握几种动态展示可视化数据的方法Django 模板渲染1. 新建一个 Django 项目命令行中输入以下命令django-admin startproject pyecharts_django_demo创建一个应用程序python manage.py startapp demo创建完之后,在Pycharm 中打开该项目,当然你也可以直接在 Pycharm 中创建同时在 pyecharts原创 2020-11-11 20:20:29 · 1776 阅读 · 2 评论 -
爬虫|如何在scrapy请求异常之后再设置代理IP
我们都知道 scrapy 可以设置代理 IP,但是不知道大家有没有遇到这样一个场景:常规的代理IP设置,会对每个请求都生效,也就是说每个请求都会去使用代理但是有些请求根本不需要代理,我希望当我的请求出现错误或超时的时候再去设置代理IP这样既节省了资源,又缩短了请求的时间,毕竟有些代理质量真的一言难尽那么怎么才能让它请求超时的时候,再使用代理IP进行重新请求呢?很容易就想到下载中间件,DowmloaderMiddleware一个介于request, response中间的钩子,用于修改reques原创 2020-10-30 17:08:41 · 2262 阅读 · 3 评论 -
用Python分析了近几年富豪排行榜,我酸了...
10 月 20 日,胡润研究院发布《2020 胡润百富榜》,也就是富富富豪排行榜杭州的马云毫无悬念的再次摘下中国首富桂冠,深圳的马化腾位列第二榜单被我翻烂了,还是没有找到我的名字,难道是被遗漏了吗??难度我不配有名字吗??太可恶了,毕竟我和马云的财富加起来,在榜单上也是排名第十的!不信我? 请看图不仅 2020 年排行榜上没有在我爬取了从 2015 到 2020 这几年的排行榜后,还是没有找到我的名字!5 年!5 年!你知道我这 5 年是怎么过的吗…对!我的排名一直稳定在 13 亿左右(知原创 2020-10-29 09:52:05 · 1034 阅读 · 0 评论 -
Python内置函数大全!建议收藏
1. abs()语法abs(x), 返回一个数的绝对值。 参数可以是一个整数或浮点数。 如果参数是一个复数,则返回它的模示例2. all()语法all(iterable), 如果 iterable 的所有元素均为True(或 iterable 为空)则返回 True 。 等价代码如下:def all(iterable): for element in iterable: if not element: return False ret原创 2020-10-24 10:59:52 · 6221 阅读 · 2 评论 -
scrapy 出现 [twisted.internet.error.TimeoutError:] 的几种解决方案
在使用 scapy 进行大批量爬取的时候,少数请求链接会出现请求超时,当出现请求超时时,爬虫会自动重试三次。扩展,可以 通过 设置 RETRY_ENABLED = False 来关闭重试机制若超过 180s 且三次后且还是没有得到数据,就会出现 twisted.internet.error.TimeoutError 错误。提供几种解决办法:1、降低同时请求的数量CONCURRENT_REQUESTS = 52、 增加超时时间DOWNLOAD_TIMEOUT = 20003、 增加重试次原创 2020-10-17 14:33:19 · 1766 阅读 · 0 评论 -
用Python爬取了全国近5000家旅游景点,分析国庆去哪玩
Python编程与实战2020 国庆马上就要到了我想今年大家在家都憋坏了今年国庆和中秋刚好又是同一天,加起来有 8 天假这么长的假期,当然是出去 玩玩玩!但是每次长假期间,你有没有想起被人山人海支配的恐惧呢?那么该去哪些地方呢?下面我用 Python 爬取了全国近 **5000 **个旅游景点,并结合 **pyecharts **来做分析技能包爬虫Mysqlsqlalchemypyecharts数据爬取旅游景点的数据是从网上爬取的,该数据包含以下维度:景点名称,所属省.原创 2020-09-23 20:03:19 · 889 阅读 · 0 评论 -
全面拥抱FasiApi ——三大参数及验证
前几天写了一篇关于 FastApi 进阶的多应用程序管理蓝图APIRouter,可能对于有些没有基础的朋友看起来会有点懵,所以后面会按照由浅及深的顺序进行更新,记得关注噢先看下 FastAPI 有哪些突出特点,官网介绍如下:快速:非常高的性能,性能可与NodeJS和Go相媲美(感谢Starlette 和 Pydantic)。现有最快的Python框架之一。快速编码:将功能开发速度提高约200...原创 2020-04-07 16:58:32 · 2065 阅读 · 0 评论 -
全面拥抱 FastApi — 多应用程序管理蓝图APIRouter
FastAPI是一个,并发性能可以和 NodeJS 以及 Go 相媲美。它是基于Starlette框架, 类似于Starlette 的一个子类。本人最近也是一直在使用和学习 FastApi,相比之前用的框架性能确实有很大的提升,用完后有如下几点感受:性能并发更强了,支持异步 async基于 Pydantic 的类型声明,自动校验参数自动生成交互式的 API 接口文档上手简单,能快速编码...原创 2020-03-30 14:10:48 · 6848 阅读 · 6 评论 -
Python 系列教程 | 字符串
字符串是 Python 中最常见的数据类型,我们可以使用引号(' 或 ")来创建字符串。字符串是以 Unicode 编码的,支持多种语言。比如 '你好', 'Hello World',这些都是基本的字符串。下面介绍下字符串的常用方法及函数 !字符串拼接与截取在 Python 中用 “”+“” 号连接即可,字符串的截取直接使用根据其下标截取,例如:>>> str1 = "he...原创 2020-03-02 20:50:57 · 1043 阅读 · 0 评论 -
JS逆向之电信登录
hello,大家好,我是练习时长两个小时的…啊,不对,搞错片场了。这是我给大伙分享的第四篇 JS 逆向实战的文章前面三篇请猛戳下方,顺便帮忙点个好看吧套路还是那个套路,话不多说,直接开干。分析网站地址就不贴了,首先我们来分析下抓包的数据抓包万幸只有一个加密参数,搜索大法好呀,拿着加密参数全局搜一下,参数值呢就是密码输入框的 id 标签,和上一篇分享的那个 ...原创 2019-07-06 19:06:32 · 800 阅读 · 0 评论 -
自费送书!你敢抽,我敢送,就是这么任性!
福利时间1. 本公众号 【Python编程与实战 】开通也快大半年了,一直想给一路上支持我的朋友们送几本书,但是一直没有找到有合作意向的出版社!2. 万幸昨天接了一个小广告,有点恰饭的钱。有广告愿意投放,说明这个号还有点价值,还望大家能够理解,毕竟公众号唯一的收入来源,就是接点广告了。3. 马上到国庆节了,为了回馈一直支持我的朋友们,我把这些小钱拿来给大家买书,一共3本,再次感谢金主,大家都...原创 2019-09-30 15:12:03 · 375 阅读 · 0 评论 -
用一行代码高效的求一个列表的平方和
最近看到一个笔试题,考察的都是 Python 中的高阶函数题目如下:用一行代码高效的求一个列表的平方和(不能用 sum 函数)分析1.先将列表中每个值作平方:立即想到 map 函数,假设列表是 range(10),那么这个列表中平方是这样map(lambda x: x**2 , range(10))因为题目要求一行代码,所以匿名函数 lamdba 是必须的!2. 求和:Pytho...原创 2019-06-26 10:27:47 · 7339 阅读 · 0 评论 -
Python高效编程
工作中经常要处理各种各样的数据,遇到项目赶进度的时候自己写函数容易浪费时间。Python 中有很多内置函数帮你提高工作效率!一:在列表,字典中根据条件筛选数据1.假设有一个数字列表 data, 过滤列表中的负数列表推导式result = [i for i in data if i >= 0]fliterresult = fliter(lambda x: x>= 0, d...原创 2019-06-26 09:16:28 · 732 阅读 · 0 评论 -
超详细的字符串用法大全
字符串拼接实际场景:把列表中的数据拼接成一个字符串解决方案:使用 str.join() 方法>>> li = [3, 'cxk', 'kk', 'caibi']>>> ''.join([str(i) for i in li])'3cxkkkcaibi'推荐使用生成器表达式,如果列表很大,可以节省很多内存空间>>> ''.join...原创 2019-06-17 21:15:26 · 558 阅读 · 0 评论 -
Python爬虫进阶之APP逆向(三)
最近有朋友在做新闻资讯类的 app 爬虫,也许大多数人都会认为,一个新闻资讯 app 不会有什么反爬吧。恰恰相反,当你想爬一条新闻的时候都有请求参数加密,可见现在反爬的严重性。分析国际惯例先抓包,万幸抓包非常顺利,抓包结果如下:抓包结果可以看到请求头里面有加密的参数,下面我们通过反编译来破解这个参数同时用 Python 代码来实现加密,这样我们才能愉快的爬爬爬!反编译破解反编译之...原创 2019-06-01 12:54:29 · 4029 阅读 · 2 评论 -
pyecharts可视化和微信的结合
前言最近在研究 pyecharts 的用法,它是 python 的一个可视化工具,然后就想着结合微信来一起玩不多说,直接看效果:全国分布图.gif条形图.gif环境配置pip install pyechartspip install snapshot_seleniumpip install echarts-countries...原创 2019-05-21 14:08:38 · 961 阅读 · 0 评论 -
python数据可视化神器--pyecharts 快速入门
前言我们都知道python上的一款可视化工具 matplotlib , 但是它是静态的。后来发现了 pyecharts 模块,简直好用到不行,可视化类型非常多,它是基于 Echarts 开发的。 Echarts 是百度开源的一个数据可视化 JS 库,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可。而 Python,很适合用于数据处理。当数据分析遇上数据可视化时,pyechart...原创 2019-05-06 22:49:24 · 4893 阅读 · 2 评论 -
Python爬虫进阶之APP逆向(二)
###写在前面的话今天分享另一个app逆向的实战如果觉得对你有用,还请关注下公众号,后续会有更多的app逆向实战篇,以免错过!话不多说,进入正题,开搞###抓包国际惯例,先抓包分析请求参数,可以看到,手机号码以及密码都是加密的###app反编译使用 jadx 直接打开 apk 文件或者用 AndroidKiller 也可以,最近在研究 app逆向,这个工具用的比较多。其实...原创 2019-04-04 14:14:27 · 2578 阅读 · 1 评论 -
Python爬虫进阶之JS逆向新榜登录
分享一个破解JS登录的案例抓包调试网站如下:https://www.newrank.cn/下面是登录的抓包:一个 XHR 请求,下断点。或者搜索请求参数打完断点后,重新发起请求,结果如下:分析此时的断点位置,一般是一个 XMLHttpRequest 的请求操作。所以我们顺着调用栈往回追。找到了密码加密的地方,看代码调用了两次 h 函数。其中第二次调用的的参数是将第一次返回...原创 2019-06-27 09:02:16 · 1616 阅读 · 7 评论 -
Python爬虫进阶之JS逆向国航登录
分享另一个破解JS登录的案例抓包网站如下:http://www.airchina.com.cn/www/jsp/userManager/login.jsp下面是登录的抓包:明显 userName 和 password 这两个参数被加密了。全局搜索参数 userType 或者 upassword。因为一般是根据输入框的 id 标签取值,然后做加密!搜索结果如下:猜测应该是 RSA...原创 2019-07-01 09:19:10 · 870 阅读 · 1 评论 -
Flask 表单验证之 WTForms
点击上方“Python编程与实战”,关注公众号本文主要内容 如何在 Flask 中对参数进行校验 Wtforms 的使用 一:参数验证的必要性当你处理浏览器提交的 POST 带有参数的请求时,比如一个用户注册的功能,网站都会对用户提交的密码长度进行限制。这时候如果视图函数中编写自定义的参数校验的时候,视图代码很快会变得难以阅读。尤其当参数非常多的时候,代码...原创 2019-09-22 20:00:00 · 673 阅读 · 0 评论 -
Python 人脸识别就多简单,看这个就够了!
点击上方“Python编程与实战”,选择“置顶公众号”第一时间获取 Python 技术干货!阅读文本大概需要 11分钟。今天给大家介绍一个世界上最简洁的人脸识别库 face_recognition,你可以使用 Python 和命令行工具进行提取、识别、操作人脸。基于业内领先的 C++ 开源库 dlib 中的深度学习模型,用 Labeled Faces in the Wild ...原创 2019-09-27 11:45:01 · 644 阅读 · 0 评论 -
爬虫网页解析之css用法及实战爬取中国校花网
前言我们都知道,爬虫获取页面的响应之后,最关键的就是如何从繁杂的网页中把我们需要的数据提取出来,python从网页中提取数据的包很多,常用的解析模块有下面的几个:BeautifulSoup API简单 但解析速度慢,不推荐使用lxml 由C语言编写的xml解析库(libxm2),解析速度快 但是API复杂Scrapy 综合以上两者优势实现了自己的数据提取机制,被称为Selec...原创 2019-04-22 09:12:11 · 1277 阅读 · 1 评论 -
Flask 蓝图(Blueprint)的引入及应用
本文首发于公众号:Python 编程与实战我们都知道 flask 是一个轻量级的 web 框架,相对于其他同类型框架更为灵活、轻便、安全且容易上手。开发者可以随意编写自己想要的项目结构,同时还有很多的第三方库供君选择。但是灵活的同时也带来了相应的问题,比如对很多初学者来说,建的项目结构混乱,不易维护,还有经典的循环导入等问题循环导入问题很多初学者喜欢将启动文件和多个路由写在同一个文件中,...原创 2019-09-04 09:34:51 · 1567 阅读 · 1 评论 -
Cookie 免密登录了解一下
我们都知道 HTTP 是无状态的,用户每次打开 web 页面时,服务器都打开新的会话,而且服务器也不会自动维护客户的上下文信息,那么服务器是怎么识别用户的呢?这就是本文的主要内容,当服务端需要记录用户的状态时,就需要用某种机制来识具体的用户,这个机制就是 session 和 cookieSession 和 Cookiesession 是保存在服务器端的,用于标识用户,并且跟踪用户的一种上下文...原创 2019-09-04 09:31:18 · 798 阅读 · 1 评论 -
Python枚举类Enum用法详解
实际开发中,我们离不开定义各种类型,当我们需要定义类型时,一般是通过一组整数来定义。比如:定义不同的月份JAN 1FEB 2MAR 3...NOV 11DEC 12大多数人想到以下几种定义的方法:1.直接使用定义变量的方法jan = 1feb = 22.使用字典d = {"jan": 1, "feb": 2}3.使用类变量class TypeMonth: ...原创 2019-09-04 09:29:14 · 4887 阅读 · 1 评论 -
爬虫必备技能 xpath 用法和实战
环境配置1.本文使用的python版本是python32.使用到的依赖包如下:requestsscrapy在安装 scrapy 之前需要先安装 Twisted(点击下载) 下载符合自己版本的 Twisted,然后将其放入 python 安装目录中,先使用命令安装 pip install Twisted。安装完之后,scrapy 就很容易安装了,安装命令如下: pip ins...原创 2019-03-11 19:32:45 · 504 阅读 · 1 评论 -
python高阶函数
本文要点1.什么是高阶函数2.python中有哪些常用的高阶函数什么是高阶函数?在了解什么是高阶函数之前,我们来看几个小例子。我们都知道在 python 中一切皆对象,函数也不例外。比如求绝对值函数 abs,我们可以用一个变量 f 指向 abs 函数,那么当调用 f() 的时候可以得到和 abs() 一样的效果,这说明变量可以指向函数!同理我们将 abs 指向另一个函数 abs = le...原创 2019-05-13 14:22:25 · 652 阅读 · 0 评论