![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 94
凉城的夜
苔花如米小,也学牡丹开。
Github:https://github.com/Liangchengdeye
展开
-
Boss直聘招聘数据分析-202104月版
西安boss直聘4月招聘信息分析关于boss直聘数据采集可查看另一篇文章《Boss直聘数据采集及分析》 金三银四,一年里比较火热的招聘季即将结束,那么西安软件开发行业截止目前还剩余的招聘岗位都还有哪些呢,近期在查看boss站点的时候就顺手采集了一波数据,刚好在研究BI报表,那就顺带分析一下最近西安软件市场招聘情况。本次分析主要采集了:“Python”、“JAVA”、“数据分析”、“大数据”、“ETL”,后面也会从这5大招聘岗位、整体招聘情况6个部分展开分析原创 2021-04-11 14:56:07 · 6938 阅读 · 0 评论 -
中国采购招标网爬虫采集破解
中国采购招标网URL,通过爬虫去请求该网站会返回521状态码,需要带着特定cookie去访问,此cookie又是动态变化,如果想要持续采集就得破解此cookie生成规则。站点反爬分析通过Fiddler抓包分析,可以看出它的请求顺序。1. 首次发起请求,返回状态码为521,返回第一段加密cookie,携带第一段加密的cookie去请求会返回第二个521状态码,会返回第二段加密cookie,然后携带第一段和第二段cookie去请求页面,才返回正常状态码,通过观察第二段加密cookie有时效性,.原创 2020-10-22 14:58:00 · 8318 阅读 · 0 评论 -
python 创建临时文件读写
python读 写临时文件看到网上一篇文章提到面试的时候,面试官提到以下要求:假设你正在编写的方法,需要每次执行时,在服务器上创建一个临时文件同时支持书写部分内容,而后将该文件的位置传输给第三方的类。待第三方类获取到你文本内的数据时,最后执行对该临时文件的删除操作,同时需要支持高可用,也就是写入,再读取一次便销毁。挺有意思的一个题,本来想手写实现,搜了搜原来python已经有了相关的轮子,那干嘛还造轮子,下面是代码。import tempfiledef read_temp_file(原创 2020-06-12 15:08:53 · 2013 阅读 · 0 评论 -
Boss直聘数据采集及分析
Boss直聘数据采集及分析我主要采集了Boss web端西安5月Python招聘情况,后面会在代码注释中进行解释采集中碰到的问题参考,也许你也会遇到采集问题点为了绕过boss直聘网站对selenium的检测需要做以下初始化工作:首先开启:chrome.exe --remote-debugging-port=9222 --user-data-dir="C:\selenum\AutomationProfile";这句话在你的谷歌浏览器可执行文件夹运行,会在你的C:\selenum...原创 2020-05-29 16:30:43 · 7972 阅读 · 6 评论 -
python pyecharts x轴标签名太长
问题:利用pyecharts绘图,有时候我们的x轴标签名比较长,发现会被挤出去,就算调整x轴标签旋转45°都没用,那么该如何解决该问题呢?利用Gird解决dataZoom与x轴标签重叠问题pyecharts 版本1.5.1from pyecharts import options as optsfrom pyecharts.charts import Bar,Gridimport...原创 2019-12-11 10:10:06 · 9742 阅读 · 0 评论 -
python gzip+base64方式压缩
gzip方式下的两种压缩:1. gzip+base64方式压缩,如果压缩对象本事比较小,压缩后因为base64缘故反而会变大,因此,只有长度很大,要利于传输数据才采用该方式;2. gzip原始方式压缩。#!/usr/bin/python3 # encoding: utf-8 """ @version: v1.0 @author: W_H_J @license: Apac...原创 2019-07-23 16:12:17 · 6531 阅读 · 0 评论 -
flask-restful与flask的restful风格下安全认证
flask 实现 flask Restful什么是restful网上解释很多,怎么用flask实现restful例子也数不胜数,可自行查阅,本篇主要是不同风格实现restful时候的安全认证。注解方式实现的安全认证,也是网上例子最多的方式在需要安全认证的方法前加上安全认证注解:@basic_auth.login_required,这个方法在下一段代码中。注意:flask错误码或者认证失败的...原创 2019-07-07 20:12:53 · 2563 阅读 · 2 评论 -
Python SQLite3 基本操作类
简介SQLite3只是一个轻型的嵌入式数据库引擎,占用资源非常低,处理速度比Mysql还快,专门用于移动设备上进行适量的数据存取,它只是一个文件,不需要服务器进程。SQLite是一个进程内的库,实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。它是一个零配置的数据库,这意味着与其他数据库一样,您不需要在系统中配置。就像其他数据库,SQLite 引擎不是一个独立的进程...原创 2019-05-17 16:26:10 · 5296 阅读 · 1 评论 -
基于python的redisGraph简介及实现
RedisGraph探索结果官方文档基于Github上2018年6月24日更新版本文章目录RedisGraph探索结果[官方文档](https://oss.redislabs.com/redisgraph/)1.RedisGraph是什么?2.RedisGraph能做什么?功能介绍3.如何使用Redisgraph?构建RedisGraph模块加载RedisGraph(Redis4.0及以上...原创 2019-05-25 22:33:34 · 2346 阅读 · 0 评论 -
python基于flask_socketsio实现WebSocket——肆
Flask-Sockets和Flask-SocketIO区别Flask-Sockets和Flask-SocketIO之间的主要区别在于前者仅仅将WebSocket协议(通过使用gevent-websocket项目)进行包装,因此它只适用于原生支持WebSocket协议的浏览器,对于那些不支持WebSocket协议的较老的浏览器,就无法使用它了。Flask-SocketIO则不同,通过前面的介...原创 2019-03-05 17:59:29 · 4818 阅读 · 2 评论 -
python基于flask_sockets实现WebSocket——叁
WebSocket是啥?WebSocket是HTML5引入的新的通信协议,主要由Web客户端和服务器实现,当然它也可以在Web之外实现。 与HTTP连接不同,WebSocket连接是客户端和服务器之间永久的双向通信通道,其中任何一个都可以启动交换。 一旦建立,连接一直有效,直到其中一方断开连接。flask实现websocket的两种方式flask 实现websocket有两种方式实现...原创 2019-02-25 11:11:06 · 26235 阅读 · 4 评论 -
python基于flask-socketio实现WebSocket消息广播(发布订阅模式)——贰
场景在应用中可能有一中场景,客户端A只需要发布消息,另一头多个客户端只需要接收客户端A发过来的消息,即发布订阅模式。也可用于大屏展示端,客户端只负责发布推送内容,广播接收端则进行消息接收。因此在flask应用内,通过引入flask-socketio实现站内WebSocket消息广播。各网页接收广播消息并动态刷新页面。为便于观察,我们通过向服务端发送"/push?msg=test" http 请...原创 2019-02-22 19:05:00 · 7381 阅读 · 4 评论 -
python基于socket实现WebSocket简易实现——壹
基于socket包,简易websocket客户端服务端实现,可通过客户端发送消息至服务端,服务端接受消息。python中socket、socketio、flask-socketio、WebSocket的区别与联系---TCP/IP原理图socket 是通信的基础,并不是一个协议,Socket是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口。在设计模式中,Socket其实就是一...原创 2019-02-22 16:11:37 · 14674 阅读 · 12 评论 -
python adb 实现对支付宝登录及后台监控
python 加载adb实现对支付宝登录及后台监控,与手机自身(电量,网络状态、进程后台)监控,及实现手机任意位置模拟点击。 #!/usr/bin/env python# encoding: utf-8"""@version: v1.0@author: W_H_J@license: Apache Licence@contact: 415900617@qq.com@softwar...原创 2019-02-22 15:23:28 · 2495 阅读 · 1 评论 -
基于MQTT的消息发布订阅python实现
简介:MQTT 全称为 Message Queuing Telemetry Transport(消息队列遥测传输)是一种基于发布/订阅范式的“轻量级”消息协议。该协议构建于TCP/IP协议上。MQTT协议是轻量、简单、开放和易于实现的,这些特点使它适用范围非常广泛。在很多情况下,包括受限的环境中,如:机器与机器(M2M)通信和物联网(IoT)。其在,通过卫星链路通信传感器、偶尔拨号的医疗设备、...原创 2019-02-22 14:57:31 · 8925 阅读 · 7 评论 -
大众点评评论抓取-加密评论信息完整抓取
前言:之前写的抓取大众的商家信息和点评评论星级,前两篇博文可以自行查阅,后面经常有人问我评论信息怎么抓取,因为以前评论部分没有加密,如今大众点评的评论信息做了前端字体加密,因此一般不会完整的抓取到信息,今天做一下更新。前两篇博文:大众点评热门餐厅抓取与数据分析大众点评评论抓取,这个是老版本的,但是注意点还是可以看看的,以免被反爬。本篇博文更新于2018/12/20,针对目前加密...原创 2018-12-20 16:53:45 · 20326 阅读 · 41 评论