- 博客(31)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 数据采集之全埋点数据采集分析方法的一些整理
数据采集之全埋点数据采集分析方法的一些整理，包含一些思路、方法逻辑的整理分析，供数据采集分析爱好者参考。埋点的定义： 埋点分析，是网站分析的一种常用的数据采集方法。数据埋点分为初级、中级、高级三种方式。数据埋点是一种良好的私有化部署数据采集方式。埋点技术如何采集数据，有何优缺点？数据埋点分为初级、中级、高级三种方式，分别为：初级：在产品、服务转化关键点植入统计代码，据其独立ID确保数据采集不重复（如购买按钮点击率）； 中级：植入多段代码，追踪用户在平台每个界面上的系列行为，事件...
2020-06-04 21:38:59
2553
转载 Python+fillder爬虫抓取APP数据之小程序
1、下载fillder ,fillder官网：https://www.telerik.com/fiddler2、安装好后设置fillder： 工具—>选项，打开设置面板。选择HTTPS选项卡。Python+fillder爬虫抓取APP数据之小程序对下边进行勾选：Python+fillder爬虫抓取APP数据之小程序点击链接进行如下设置：Python+fillde...
2020-04-21 22:41:20
1743
转载 PyQt5快速上手基础篇8-菜单栏、工具栏和状态栏
前言本节我们学习使用Qt Designer设计菜单栏、工具栏和状态栏，并完成一个串口工具的界面设计，在接下来教程中，我们将逐步实现一个串口调试助手，并详细介绍相关的其他知识点。一、基础知识1.菜单栏简介菜单栏位于窗口上方，标题下面，菜单栏中的菜单属于QMenu类，下拉菜单和子菜单属于QAction类,点击任何QAction按钮时，QMenu对象都会触发triggered信号，本教程...
2020-04-01 21:52:45
1458
原创 Python爬虫实战：手机APP数据抓取分析！谁说不能爬取app数据的？
大多数手机APP里面返回的是json格式数据，或者一堆加密过的数据 。这里以超级课程表APP为例，使用python抓取超级课程表里用户发的话题。主要是练习python爬取app的一些方式和技巧。1、抓取APP数据包 表单：抓取手机APP数据表单中包括了用户名和密码，当然都是加密过了的，还有一个设备信息，直接post过去就是。另外必须加header,一开始我没有加header...
2020-01-09 21:35:01
4894
4
原创 python爬取利用appium抓取得到APP课程数据导出到Excel进行分析，练习Python实现app抓取实例
python爬取APP爬取思路和方案选择：用到的库：openpyxl #导出excelappium #自动化测试工具思路一通过抓包软件对APP进行抓包分析， 这种方式可以看到 App 在运行过程中发生的所有请求和响应。得知接口之后可以通过设置合适的请求头和各种参数来发送HTTP或者HTTPS请求接口，接口返回的数据就是想要数据了。python爬取抓取得到APP课...
2020-01-05 21:23:28
1612
原创 QQ空间g_tk加密算法实现原理研究
这篇文章主要介绍了QQ空间g_tk加密算法实现原理,涉及php针对字符串的转换技巧,具有一定参考借鉴价值,需要的朋友可以参考下本文实例讲述了QQ空间g_tk加密算法用PHP去实现的方法。分享给大家供大家参考。具体如下：//G_tk计算function getGTK($skey){ $hash = 5381; for($i=0;$i<strlen($skey);++$i){...
2019-06-27 11:39:16
2298
原创 用python 、itchat登录微信网页版 微商自动回复功能、抓取微信好友信息列表。
最近用Python实现了一些微信的简单玩法 我们可以通过网页版的微信微信网页版，扫码登录后去抓包爬取微信信息，还可以post去发送信息。》》安装itchat这个库 pip install itchat先来段简单的试用，实现微信的登录，运行下面代码会生成一个二维码，扫码之后手机端确认登录，就会发送一条信息给‘filehelper’，这个filehelper就是微信上的文件传输助手。...
2019-05-29 13:45:50
4132
4
翻译 Python之 - 使用Scrapy建立一个网站抓取器，网站爬取Scrapy爬虫教程
Scrapy是一个用于爬行网站以及在数据挖掘、信息处理和历史档案等大量应用范围内抽取结构化数据的应用程序框架，广泛用于工业。在本文中我们将建立一个从Hacker News爬取数据的爬虫，并将数据按我们的要求存储在数据库中。安装我们将需要Scrapy以及BeautifulSoup用于屏幕抓取，SQLAlchemy用于存储数据.如果你使用ubuntu已经其他发行版的unix可...
2019-05-06 15:46:32
693
原创 wap网站获取访问者手机号获取抓取PHP类文件【源码实例】
业余研究网站访客手机号码获取类，找到这个比较全面的分析类。wap网站获取访问者手机号PHP类文件【源码实例】<?php/*** 类名: mobile* 描述: 手机信息类* 其他:Q：3030-365-97 URL： shoujihao.ibixue.com*/class mobile{/*** 函数名称: getPhoneNumbe...
2019-05-04 10:55:08
6868
3
转载 微信公众号：根据高级接口OpenID获取用户基本信息
本文介绍在微信公众平台上如何使用高级接口开发获取用户基本信息的功能。一、获取用户基本信息接口在关注者与公众号产生消息交互后，公众号可获得关注者的OpenID（加密后的微信号，每个用户对每个公众号的OpenID是唯一的。对于不同公众号，同一用户的openid不同）。公众号可通过本接口来根据OpenID获取用户基本信息，包括昵称、头像、性别、所在城市、语言和关注时间。获取用户基本信息开...
2019-04-22 13:43:25
686
转载 Python自动投票开发，基本实现微信投票3秒钟一票实现案例分析
研究Python自动化时候，实践学习就简单写了一个运用Python实现自动投票模块，基本实现微信投票3秒钟一票，这家投票最简单，没有验证码，没有注册用户限制，没有IP限制，三无~!! 本程序为学习研究实例。仅供参考学习交流。切勿用于商业用途。注意：本程序需要pam30模块#-----------------------------------------------------------...
2019-04-14 11:39:27
12041
1
原创 Python刷投票自动化【刷微信投票】脚本开发，源代码分析
Python刷投票自动化【刷微信投票】脚本开发，源代码分析前言 现在部分比赛为了推广赞助商或者比赛本身，需要参赛队伍进行网上拉票，甚至票数还会占一定比例的成绩。因此，刷票也就应运而生了。此次我们团队参加一个比赛，就需要网上投票决出前几名，作为一位技术人员，当然是得“解决”技术能解决的问题嘛，所以就写了个刷投票插件来刷一刷。原理刷票的原理很简单，就是相当于模拟人登录网站去投票...
2019-04-13 23:48:11
4126
原创 qq好友列表获取导出，利用QQ协议实现好友数据备份，包含：qq好友、QQ分组、QQ群、qq群成员【附code源码】
qq好友列表获取导出，利用QQ协议实现qq好友数据备份，包含：qq好友、QQ分组、QQ群、qq群成员。我们是在浏览器中的操作,接下来看看数据到底怎么获取的,我们通过Fiddler的查找功能,就可以查找到web请求和内容信息,我们就会找到如下一个URL,当然Fiddler是在操作之前打开的 通过Fiddler发现返回的是JSON数据,实际的实现是跨域JSON,JSON的结构,是两个数...
2019-03-24 14:04:28
3469
原创 qq好友列表获取，利用curl 模拟获取qq好友列表获取接口
qq好友列表获取，利用curl 模拟获取qq好友列表获取接口代码如下：//模拟浏览器查找好友列表$url = "http://cgi.find.qq.com/qqfind/buddy/search_v3";$header = array('POST /qqfind/buddy/search_v3 HTTP/1.1Host: cgi.find.qq.comConne...
2019-03-12 22:29:47
1930
原创 qq好友列表获取hash算法解析-web版QQ
在使用web qq的接口进行qq好友列表获取的时候，需要post一个参数：hash在对其js文件进行分析之后，发现计算hash的函数位于：http://0.web.qstatic.com/webqqpic/pubapps/0/50/eqq.all.js这个文件中：P = function(b, i) { for (var a = [], s = 0; s < i.l...
2019-03-09 09:43:16
330
原创 爬虫实现：获取微信好友列表爬取进行好友分析
本项目已经上传到github上面：https://github.com/wangqifan/WeChatAnalyse这个Demo是利用HttpWebRequest和HttpWebResponse来爬取微信好友列表，讲信息存入数据库，并对信息进行分析，用图标画出来。如何获得微信好友列表信息首先前往https://wx.qq.com/登录自己的微信账号，打开浏览器的开发者控制台获...
2019-03-07 11:59:35
16078
原创 QQ获取好友列表接口 -
先思考，如果我要挖掘一个qq获取好友列表的接口，那么必须找到一个网页在哪里会调用读取用户的好友列表。然后这里要你从好友列表里面选择，那么这里肯定会出现一个ajax异步读取，这个jajx请求的响应也许就是你的好友列表。接着在右边开发者工具里面会抓到很多请求包，那么你能一眼从众多的请求包中发现friend_show_qqfriends是显示QQ好友。然后返回的json里面uin是QQ，gr...
2019-03-07 11:46:18
7782
原创 动态爬虫之qzone空间自动秒赞 - qq空间自动点赞
动态爬虫之qzone空间自动秒赞 - qq空间自动点赞步骤1、分析列表请求2、分析请求参数3、分析点赞请求4、分析点赞参数5、编写执行代码我们上次分析过动态爬虫之QQ好友列表获取 今天这篇继续按照上次的思路来，如果您看过我上篇建议您直接看参数按照以前的操作就好。1、分析列表请求首先我们还是打开这个网址https://h5.qzone.qq.com/mqzone/in...
2019-03-04 16:40:21
4929
1
原创 动态爬虫之手机版QQ空间登录
准备：1、intellij idea2、python3、selenium4、phantomJs1、分析Qzone Html页面打开手机版qzonehttps://mobile.qzone.qq.com动态爬虫之手机版QQ空间登录按照上面流程复制账号、密码和登录按钮的的XPath粘贴到记事本中2、超链1、构建浏览器并且设置请求头2、开始请求3、模仿用户输入4、输...
2019-03-04 15:34:03
4164
1
原创 qq好友列表获取之动态爬虫清洗爬取好友列表数据 - 获取qq好友、群、群成员列表
qq好友列表获取之动态爬虫清洗爬取qq好友列表数据 - 获取qq好友ip、群、群成员列表。我们的好友列表要从 qzone 获取，现在打开 qzone 的链接https://h5.qzone.qq.com/mqzone/index并且登陆。具体步骤：1、分析qzone请求2、分析参数来源3、仿照数据请求上次写的一个qzone登陆写的不详细这次决定写一个详细分析qzone js 获...
2019-03-04 12:14:32
4825
转载 QQ好友列表导出用JTree树实现
最近学习了一下JTree的使用方法：QQ好友列表导出用JTree树实现先来看一下树的实例：构建一个树，DefaultMutableTreeNode root = new DefaultMutableTreeNode("根节点");DefaultMutableTreeNode node = new DefaultMutableTreeNode("节点1"); root.add(n...
2019-03-01 08:50:17
691
转载 PHP通过web协议实现微信扫码登录，收发消息，获取微信联系人，创建群，拉人，踢人等
发消息了，php之路......走起PHP通过web协议实现微信扫码登录，收发消息，获取好友联系人，创建群，拉人，踢人等1.前提网上很多web协议可参考，亲自实践，主要流程获取uuid用 生成二维码地址 扫描登录检测 扫码回调设置cookie 微信初始化 开启微信通知获取微信联系人、心跳检查、微信好友信息获取等等。注意事项：1、不同版本的有可能产生的请求地...
2019-02-24 10:05:26
2004
2
原创 php使用正则处理文本或文章中外链全部自动加上nofollow及dedecms使用
有时候需要对文章进行自动处理nofollow，防止权重流失，对于做网站优化seo的来说很重要。$host为不需要进行处理的站点域名，否则全部自动加上nofollow。首先正则出a标签和href，然后进行每一层级判断处理。如果是外链，而且没有nofollow就自动加上。/*** 自动处理外链加上rel="nofollow"*/ function webOutUrlDispo...
2019-02-24 00:28:23
475
1
转载 ttf字体转换成woff2网页字体快捷方法
有时候我们找到不错的字体用在网页上，一般网页都默认微软雅黑。活动时候需要弄点特别的字体在网页上，这时候就可以用字体转换了。ttf转woff2。 转换地址：https://www.toolnb.com/tools/fonttowoff2.html...
2019-02-24 00:25:17
3289
1
原创 Python实现抓取网站子域名实现方式
有时候需要用Python获取某个网站的子域名，在检测一些大站的时候常会用到。以前找某个网站的子域名我用的方法是在网站内和链接处找，偶尔也会用到google。后来听朋友乔三少说bt5下有个获取子域名的小工具，没怎么在意。有一天要获取某个网站的子域名了，就问他要程序名字，结果他一时想不起来了。。。然后他说有个在线查询的网站，把网址发给了我。要查询某个网站的子域名，在“domain”右面的输入...
2019-02-21 19:38:07
3981
原创 QQ登录回调地址实现：【获取qq好友列表数据】附实例
QQ登录回调地址实现：【获取qq好友列表数据】<?phprequire_once("../../API/qqConnectAPI.php");$qc = new QC();$appid = ""; //appid $access_token = $qc->qq_callback();$openid = $qc->get_openid();//请求用户信息接口获取...
2019-02-11 11:26:55
1323
原创 手机获取QQ好友列表的信息【Android】
QQ作为大众社交软件。很多朋友在开发QQ软件时不知道怎么QQ好友列表信息。特别是针对手机端QQ好友列表获取。下面小编在开发手机qq好友列表获取软件的一些记录。简单的原理:第一步 先申请openapi 第二步 把一键登录模块集成到自己站上第三步 模拟提交 登录到自己的站 会获得一段信息 提示是否有已经登录QQ第四步 获得这些返回的信息 提取出QQ号 有了QQ号 再利用其它途径...
2019-02-11 11:22:12
4889
原创 qq好友列表获取数据并导出 - 用curl类 模拟QQ好友列表获取
qq好友列表获取数据并导出 - 用cur类l 模拟QQ好友列表获取这里我们利用curl类去实现这个功能。代码如下：//模拟浏览器查找好友列表$url = "http://cgi.find.qq.com/qqfind/buddy/search_v3";$header = array('POST /qqfind/buddy/search_v3 HTTP/1.1Host: cgi....
2018-12-19 01:41:00
1790
原创 QQ好友列表获取导出类：爬虫爬取QQ号
QQ好友列表获取类：爬虫爬取QQ号，这个个爬虫是拿来练手的，可以爬取网络中的QQ号，然后存储到本地import urllib.requestimport sslimport reimport osfrom collections import deque #导入队列库 def writeFileBytes(htmlBytes,topath): with open(topa...
2018-12-19 01:36:40
3822
3
原创 获取QQ好友列表接口分析
获取QQ好友列表接口分析地址：http://s.web2.qq.com/api/get_user_friends2 提交方式：Post POST参数： r={"h":"hello","vfwebqq":"d820f5515bb0a6c64de6a885217adff3b5e70806304e5b18594acacf3285110b6ce93327ddf3d0be"} 登录 WEBQQ点击用户资料也...
2018-12-13 13:01:07
3753
转载 获取QQ好友列表、QQ分组信息、QQ群成员数据接口实现
完整源码下载点击下载完整源码如果对你有用，请给个Star，你的支持，是我最大的动力1 获取所有QQ这里主要通过抓包，抓取QQ空间中的数据记得将访问空间权限改为QQ好友获取QQ好友列表接口地址：https://h5.qzone.qq.com/proxy/domain/base.qzone.qq.com/cgi-bin/right/get_entryuinlist.c...
2018-12-13 12:59:07
10529
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人