- 博客(15)
- 收藏
- 关注
RSS订阅原创 互联网公司常用术语简写
通用：dau:daily active user，日活跃用户数量mau:月活跃用户量arpu:average revenue per user每用户平均收入，用于衡量电信运营商和互联网公司业务收入的指标pv：page view，页面浏览量uv：unique visitor 独立访客，统计1天内访问某站点的用户数(以cookie为依据)ip：internet protocol 独立IP数，是指1天内多少个独立的IP浏览了页面，即统计不同的IP浏览用户数量mou :平均...
2020-12-31 17:26:17
4403
原创 OPENTSDB接入grafana
最近有个需要场景：查看每分钟，每小时，每天的订单数量，监控告警。据说tsdb存储量大，查询效率高，可能适用于这种场景…入坑是否适用场景阿里云文档适用的场景举了3个实用例子：物联网设备监控分析，电力化工及工业制造监控分析，系统运维和业务实时监控。例子都是定时记录数据，比如每5秒钟采集一次设备信息，本业务是监听mq的消息进行写入，然后接grafana渲染，每秒钟都有数据写入，有一些区别。基本概念再看一下名词解释：https://help.aliyun.com/document_detail/55709
2020-12-03 12:48:06
1010
原创 小米5手机刷成开发版获取root权限
小米手机稳定版系统不能在授权管理中开启ROOT权限，可以先刷机成开发版，开启root权限，但是系统提供的ROOT功能并不是完整的，要获取完整的权限，必须解锁System分区！1.带BL锁机型需要进行BL解锁点击链接：http://www.miui.com/unlock/index.html 进行下载miflash_unlock-4.5.514.47.zip，如下，双击miflash_unlock.exe，然后输入账号信息，关机状态下，同时按住 音量下+电源键 进入Fastboot模式将手机USB连接电脑
2020-06-22 19:45:05
3943
原创 scrapy框架的优缺点
scrapy框架简介：Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。尽管Scrapy原本是设计用来屏幕抓取（更精确的说，是网络抓取），但它也可以用来访问API来提取数据。scrapy架构图：scrapy的各个模块：crapy Engin...
2019-11-18 18:18:11
19384
1
转载 100+个数据分析常用指标和术语
本文按照以下三类进行汇总。 1、互联网常用名词解释 2、统计学名词解释 3、数据分析名词解释。参考源链接：https://www.afenxi.com/66260.html一、互联网常用名词解释1、PV（Page View）页面浏览量指某段时间内访问网站或某一页面的用户的总数量，通常用来衡量一篇文章或一次活动带来的流量效果，也是评价网站日常流量数据的重要指标。PV可重复累计，以用户访问网站...
2019-09-05 11:54:06
1347
原创 app反编译实战三：工具inspeckage的使用
上面两篇文章我们主要是从app反编译通过阅读代码来解决token值和lspm值的方式破解，其实我们也可以使用inspeckage工具来解决加密参数问题。1.安装首先安装雷电模拟器，官网下载安装即可，然后安装xposed，再搜索安装Inspeckage模块。电脑要能和模拟器设备连通，如过雷电模拟器adb devices返回127.0.0.1:5555 offline，可以参考：http://...
2019-09-03 21:56:28
4939
转载 数据处理与可视化软件Tableau、Qlikview、Power BI 全方位比较
转载自：https://ask.hellobi.com/blog/baichuan/15709雨果·莫雷斯在福布斯网站上说：“数据分析主要是通过从数据中获得真相和意义，为企业赋能，驱动业务增长。”公司比以往任何时候都更依赖数据，因为现在几乎所有信息都是完全数字化的。商业智能软件可以理解现在的数据版图。最好的BI系统提供分析和报告数据的功能，以便更好的演示。业界最顶级的几个工具是Tableau、...
2019-08-23 11:40:35
5221
原创 淘宝直播h5页面js逆向解析
最近公司需要爬取直播商品的一些数据，其中就有淘宝直播。分析淘宝直播app接口很显然，直接搞难度很大，想到找h5页面，半天没找见；然后搞淘宝直播app，先抓包，请求尝试：import requestsheaders = { # 'x-region-channel': 'CN', 'x-appkey': '25443018', # 'x-mini-wua': 'HHn...
2019-07-24 22:08:46
12178
10
原创 博客园滑块验证码破解
极验最初的滑块验证码是两张图，首先出现的是原图，点一下出现凹槽，然后拖动滑块进去，注意拖拽速度就可以破解成功。原理： 分别遍历扫描原图和有凹槽的图片像素，进行对比，像素不一致的位置就是凹槽，拖动滑块到凹槽就可以破解。模拟点击验证按钮识别滑块缺口位置拖动滑块到缺口位置现在极验登录升级了验证码，首先出来的就是凹槽，这样无法获取原图，就没有办法进行对比。登录地址为：https://auth....
2019-06-25 17:41:18
1385
原创 深入理解爬虫去重原理
理解爬虫去重原理一．简介对于爬虫来说，去重可以避免网络之间的环路，增加爬取效率，避免重复数据反复请求，降低了被识别的风险，减少磁盘 IO，减轻了存储负担，去重后的数据，才具有可用性。二．目前常用的去重方式以及原理1.Set集合去重1.1.如何对一个列表进行去重？ids = [1,2,3,3,4,6,3,4,5,1]news_ids = []for id in ids:if id ...
2018-12-28 18:57:18
4507
原创 逆向破解flash视频url
今天来看一个swf格式的加密url逆向解析的例子：简介网页链接http://www.tvsky.tv/Industry/Show/278/33875/通过浏览器加载进度条长度可以找到视频的地址：视频详情：http://tvskysp.tvsky.tv:8082/hangyepindao/lvyou/16.flv全局搜索视频详情中的部分关键元素也没有获得关键的信息：鼠标指到视频上，...
2018-12-26 19:00:54
3050
3
原创 百度翻译爬虫js逆向解析
今天来看一下百度翻译js逆向解析。问题在翻译的接口输入：汉语中文，https://fanyi.baidu.com/?aldtype=16047#zh/en/汉语中文找到它请求的接口：https://fanyi.baidu.com/v2transapi ，发现是post请求，携带的参数为from: zhto: enquery: 汉语中文simple_means_flag: 3sign...
2018-12-14 19:48:09
4079
2
原创 美拍爬虫逆向js解析实战
爬虫肆无忌惮的好日子一去不复返了，各个公司如今都有了防范意识。采用cookie池，更换user-agent，更换代理，采用打码平台破解验证码，自动化采集等爬取，已经是比较low的方式了，高级一点的有逆向解析js和反编译app破解加密sign等。逆向解析以网页版美拍无水印视频爬取为例子：爬取美拍热门视频：https://www.meipai.com/medias/hot1.找到接口：https...
2018-12-13 22:21:47
3671
6
原创 一文搞清楚手机无法抓包
手机无法抓包常用的抓包软件主要有Fiddler和Charles(mac电脑使用)，其它的还有Wireshark，Httpwatch等，功能大同小异。这些工具开发前端后台用来抓包调试接口，测试抓包检测接口，爬虫抓包用来请求接口获取数据，非常重要。Fiddler免费使用，学习可以参考：http://www.cnblogs.com/yyhh/p/5140852.htmlCharles免费版只能使...
2018-12-05 12:33:55
2355
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人