自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(451)
  • 资源 (6)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Spark大型电商项目博客文章索引

在看自己写的文章的时候,总是不能很快找到需要的的文章,几次痛苦经历后,决定将系统性的文章手动建立一个博文目录,快速定位文章,方便查阅。目录广告点击流量实时统计页面单跳转化率用户访问session分析大数据环境搭建广告点击流量实时统计127.Spark大型电商项目-Spark Streaming+Kafka调试之Hive在spark2.0.0启动时无法访问spark-as...

2019-08-04 13:46:33 798

原创 抖音Tik Tok APP数据采集

最近学习安卓逆向,接触一下抖音的APP,了解别人是做数据安全的,这篇文章主要介绍抖音APP的商品详情HOOK过程,然后获取到数据。本文只用于学习交流,请勿他用。技术支持,扣扣:3165845957目录获取请求头信息获取设备信息获取签名搜索用户列表获取请求头信息{ "x-tt-token": "00adfba0f01a50e7872a85d8a13f52a9da0066d9172134cbf0851a829a7e7464e77013cf5026328e9077d2ae45..

2021-01-09 09:57:13 172

原创 Xposed HOOK 闲鱼的x-sign参数

最近学习安卓逆向,接触一下TB系的APP,了解大厂APP是做数据安全的,这篇文章主要介绍某宝直播APP的签名参数x-sign的HOOK过程,当然,其他的参数也是可以HOOK的。本文只用于学习交流,请勿他用。技术支持,扣扣:3165845957{"x-sign":"azSdY1002xAAGTOrG3oat7W3Cl5CuTOpOyrE7MLTDcHmpOcYgQ2AAK2s8P5+RHf/cTJX5G3EEiBQo/ftY5h33uGe4jkzuTOpM7kzqT","wua":"","x-mini-w

2021-01-02 10:48:54 328 4

原创 每日优鲜MissFresh APP商品详情采集

最近学习安卓逆向,接触一下MissFresh的APP,了解别人是做数据安全的,这篇文章主要介绍MissFresh APP的商品详情HOOK过程,然后获取到详情数据。本文只用于学习交流,请勿他用。技术支持,扣扣:3165845957主类(main_category)+------+-------------+---------------+-----------------------------------------------------------------+---------------

2021-01-02 10:46:26 151 1

原创 安卓逆向Xposed HOOK TB直播APP的x-sign参数(二)

最近学习安卓逆向,接触一下TB系的APP,了解大厂APP是做数据安全的,这篇文章主要介绍某宝直播APP的签名参数x-sign的HOOK过程,当然,其他的参数也是可以HOOK的。本文只用于学习交流,请勿他用。分析展示{"x-sign":"azSdY1002xAAGTOrG3oat7W3Cl5CuTOpOyrE7MLTDcHmpOcYgQ2AAK2s8P5+RHf/cTJX5G3EEiBQo/ftY5h33uGe4jkzuTOpM7kzqT","wua":"","x-mini-wua":"HHnB

2020-12-14 20:51:32 469

原创 在已解锁的Google Pixel安装Xposed框架

零、为什么写这篇博客?在今年九月份的时候,搞了三台已解锁的Google Pixel手机(买的是二手手机,已经让卖家解锁好了),在上面安装Xposed框架,来做APP数据采集,当时弄了很长时间,开始是使用Andriod 7.0系统,在安装环境的过程中一直遇到问题,但是将系统升级到Andriod 8.0后,问题就解决了,后面就是从一个解锁过的手机上,一步一步的安装整个采集环境。由于但是解决问题后没有写笔记做记录,现在(2020.11.30)公司需要在20台这个版本的手机上安装APP采集环境,之前的操作细节节

2020-11-30 17:38:17 326

原创 安卓逆向Xposed HOOK TB APP的x-sign参数

最近学习安卓逆向,接触一下TB系的APP,了解大厂APP是做数据安全的,这篇文章主要介绍某宝APP的签名参数x-sign的HOOK过程,当然,其他的参数也是可以HOOK的。本文只用于学习交流,请勿他用。包括获取deviceId、sid、uid、appKey、lat、lng、utdid、ttid、x-sign信息。本文只用于学习交流,请勿他用。技术支持,扣扣:3165845957商品ID:goods_ids.txt商品详情:goods_detail.txt商品详情信息:{"vid":

2020-11-27 16:11:36 296 2

原创 模拟器网络桥接教程

有时候模拟器需要进行桥接,才能满足我们需要的网络需求,下面就记录一下自己在摸索模拟器桥接的方法步骤。目录一、夜神模拟器1.打开夜神模拟器设置2.选择手机与网络3.重启4.查看模拟器IP5.网络端口映射6.启用一个hook程序,验证服务是否可用二、雷电模拟器1.打开设置2.打开网络设置3.打开桥接模式4.安装网络驱动5.重启模拟器6.查看模拟器IP三、可以根据具体需求选择桥接的网络1.网卡选择2.模拟器可以根据具体需求进行选择3.电脑

2020-10-19 19:53:19 568

原创 安卓逆向Xposed HOOK拼多多APP的anti-token签名字段,headers,cookies

最近学习安卓逆向,接触一下拼多多APP,了解该APP是做数据安全的,这篇文章主要介绍拼多多APP的签名参数anti-token的HOOK过程,当然,其他的参数也是可以HOOK的。本文只用于学习交流,请勿他用。一、环境工具环境:windows 10设备:雷电模拟器,google pixelHOOK框架:Xposed插装工具:Frida编译器:android studio反编译工具:jadx抓包工具:Charles分析APP:拼多多apk(5.22.0)二、流程步骤1

2020-10-14 19:56:42 988 6

原创 微信公众号数据采集

目录一、采集公众号文章URL1.运行环境1.Webdriver2.python运行环境3.cx-oracle4.lxml5.注册一个微信公众号2.采集文章连接1.配置config.txt2.启动程序二、采集文章详细信息1.配置detail_config.txt2.启动程序三、数据1.数据库2.Execl最近统计感兴趣的公众号的阅读数据,这篇文章就记录一下实现过程。本文只用于学习交流,请勿他用。一、采集公众号文章URL本程序主要考虑.

2020-10-12 11:15:10 239

原创 安卓逆向Xposed HOOK贝贝APP的_abr_、sign签名字段

最近学习安卓逆向,接触一下贝贝APP,了解该APP是做数据安全的,这篇文章主要介绍贝贝APP的签名参数_abr_、sign的HOOK过程,当然,其他的参数也是可以HOOK的。本文只用于学习交流,请勿他用。一、环境工具环境:windows 10设备:雷电模拟器,google pixelHOOK框架:Xposed插装工具:Frida编译器:android studio反编译工具:jadx抓包工具:Charles分析APP:贝贝apk(9.42.00_1190)二、流程步骤

2020-10-08 17:17:46 3691 2

原创 安卓逆向Xposed HOOK国家药品监督管理局APP的tzRgz52a签名字段

最近学习安卓逆向,接触一下药监局APP,了解该APP是做数据安全的,这篇文章主要介绍药监局APP的签名参数tzRgz52a的HOOK过程,当然,其他的参数也是可以HOOK的。本文只用于学习交流,请勿他用。一、环境工具环境:windows 10设备:雷电模拟器,google pixelHOOK框架:Xposed插装工具:Frida编译器:android studio反编译工具:jadx抓包工具:Charles分析APP:药监局apk(5.0.2二、流程步骤1.抓包分

2020-10-01 17:09:04 414

原创 安卓逆向Xposed HOOK TB直播APP的x-sign参数

最近学习安卓逆向,接触一下TB系的APP,了解大厂APP是做数据安全的,这篇文章主要介绍某宝直播APP的签名参数x-sign的HOOK过程,当然,其他的参数也是可以HOOK的。本文只用于学习交流,请勿他用。一、环境工具环境:windows 10设备:雷电模拟器,google pixelHOOK框架:Xposed插装工具:Frida编译器:android studio反编译工具:jadx抓包工具:Charles分析APP:某淘直播apk(com.***.live_1.8.6

2020-10-01 11:28:44 2590 1

原创 Android 逆向常用命令

在学习《[Android]应用安全防护和逆向分析》过程中,记录一些常用的命令。目录一、非shell命令二、shell 命令三、操作apk命令四、进程命令一、非shell命令1.adb shell dumpsys activity top说明:可以查看当前应用的activity信息。用法:运行需要查看的应用。案例:adb shell dumpsys activity top2.adb shell dumpsys package说明:可以查看指定包名应用的详细信息(..

2020-09-23 16:01:42 85

转载 如何抓取基于Flex技术的网站

Adobe Flex是基于Flash平台,涵盖了支持RIA(Rich Internet Applications)的开发和部署的一系列技术组合。有很多基于Web的网络游戏都是采用Flex技术开发的。Flash(客户端)与服务器之间通信既支持HTTP协议(具体的正文消息格式可以是text、XML、JSON、AMF等)也支持原始的Sockets,以HTTP协议较为常见。对于使用text,XML或JSON形式消息格式的Flex应用来说,对其的分析和抓取方法与基于Ajax的网站一样:通过HTTP协...

2020-09-17 19:52:49 139

转载 APP数据采集

本文内容来自网络,在自己进行技术调研的手机APP数据采集是网上搜集的资料。其实所谓抓取APP数据和抓取网页数据是存在一定的不同,抓取网页数据可以采用模拟访问网站然后抓取网页接收内容的模式进行数据抓取。而APP则更倾向于通过截获数据传输包的形式进行(Wireshark和Fiddler+Python)。一般来说,我们用WireShark+Fiddler来获取大部分数据是没有多大问题的。但这里有个问题是,如果你碰到的是用SSL/TLS等加密手段加密过的网络数据的时候,往往我们只能束手无策。在过去的话...

2020-09-07 20:18:59 345

原创 Xposed项目环境搭建

目录一、开发环境AndroidStudio 3.5.3Android SDKXposed二、创建项目创建android开发基础项目添加引用声明Xposed模块编写hook代码声明类的入口三、编译测试编译打包成apk安装测试一、开发环境Windows10系统 AndroidStudio 3.5.3 Android SDK XposedAndroidStudio 3.5.3下载安装Android Studio,https://deve...

2020-09-07 19:44:00 132

原创 手机APP逆向工具介绍

目录一、工具1.抓包分析工具2.APP逆向分析工具3.APP代码HOOK工具二、抓包分析工具1.抓包2.代理抓包Packet Capture​​ BurpSuitemimtproxyFiddlerCharls代理dronysocksDroidJustTrustMe三、APP逆向分析工具1.反编译2.查壳3.脱壳4.调试反编译Apktooldex2jarjd-guijadx...

2020-09-07 18:53:15 164

原创 手机APP数据包抓包分析

最近在对手机APP请求的数据包进行抓包分析,但是在一些运用中,使用简单的HTTP或者HTTPS数据包抓包配置无法抓取到我们想要的数据包。这时候就需要我们借助其他工具来抓取APP的数据包。一、工具模拟器——雷电https://www.ldmnq.com/ld_update_log.html抓包APP——拼夕夕链接:https://pan.baidu.com/s/1Pi6k9UU9u44EFEETXiI-tw 提取码:g3us抓包工具——Charls链接:https://...

2020-09-01 23:55:25 656 3

原创 Python3操作Execl工具类

import xlrdimport xlwtfrom xlutils.copy import copyclass XlsUtil(): ''' execl操作工具类 ''' def path_is_exist(self, path): ''' 判断是否存在工作簿 :param path: 工作簿名称 :return: 存在 返回True; 不存在 返回False ''' .

2020-08-01 11:07:26 142

转载 Ubuntu中使用python3中的venv创建虚拟环境

以前不知道Python3中内置了venv模块,一直用的就是virtualenv模块,venv相比virtualenv好用不少,可以替代virtualenv一、安装venv包$ sudo apt install python3-venv二、创建虚拟环境首先创建一个项目文件夹,虚拟环境将会安装在项目文件夹下,我这里使用的项目文件夹是myproject,进入mypeoject文件夹,执行命令:$ python3 -m venv venv这时虚拟环境就创建好了,默认是Python3的环境

2020-07-11 13:38:01 200

原创 在线反混淆网站

https://www.bm8.com.cn/jsConfusion/

2020-06-29 11:44:28 248

原创 WebDriver大全

Firefox浏览器驱动:geckodriverChrome浏览器驱动:chromedriver , taobao备用地址IE浏览器驱动:IEDriverServerEdge浏览器驱动:MicrosoftWebDriverOpera浏览器驱动:operadriverPhantomJS浏览器驱动:phantomjs

2020-06-02 10:48:45 98

原创 Centos安装Python3 Oracle数据库驱动cx-Oracle

目录一、下载Oracle数据的instantClient二、安装Oracle数据的instantClient并配置环境变量三、安装cx-Oracle在本篇文档中,我们使用的是Oracle 11g数据库,所以安装的cx-Oracle版本为5.3一、下载Oracle数据的instantClient下载连接https://www.oracle.com/database/technologies/instant-client/linux-x86-64-downloads.html下载..

2020-05-21 15:48:18 181

转载 docker centos 镜像中安装python36详解!生成centos+python36的基础镜像

目录一、docker拉取centos进行并启动1.拉取centos镜像2.启动并进入centos的容器二、安装python31.安装python3环境依赖2.移除centos中自带的python2.7的环境变量3.下载python3.6.8的源码压缩文件4.安装python3.6.8三、安装pip工具四、导出当前容器为镜像,并上传到局域网镜像库一、docker拉取centos进行并启动1.拉取centos镜像docker pull centos...

2020-05-21 14:11:01 118

转载 反爬虫简述

爬虫程序的访问速率和目的与正常用户的访问速率和目的是不同的,大部分爬虫会无节制地对目标应用进行爬取,这给目标应用的服务器带来巨大的压力。爬虫程序发出的网络请求被运营者称为 "拉圾流量"。  开发者为了保证服务器的正常运转或降低服务器的压力与运营成本,不得不使出各种各样的技才手段来限制爬虫对服务器资源的访问。因为爬虫和反爬虫是综合技术的应用,反爬虫的现象与爬虫程师所用的工具和开发语言有关,甚至与爬虫工程师的个人能力也有一定关联.所以反爬虫的概念常模糊,业内并没有明确的定义。
简而言之,限制爬虫程序访问服务

2020-05-16 09:43:37 646

转载 requests常用属性,requests常用函数的常用参数,response的常用属性

目录requests常用函数属性requests常用函数的常用参数response的常用属性requests常用函数属性requests.get # 模拟发送get请求requests.post # 模拟发送post请求requests.session # 相当于自动帮我们提交cookie的requests# eg:url = "https://www....

2020-05-06 14:54:03 143

转载 Firefox全历史版本下载

Firefox全历史版本下载:http://ftp.mozilla.org/pub/mozilla.org//firefox/releases/如果只想下载最新版,以下是最新版的各国语言版链接:http://www.mozilla.org/en-US/firefox/all/...

2020-04-22 21:33:07 164

原创 Python3爬虫Scrapy框架常用命令

全局命令 bench Run quick benchmark test fetch Fetch a URL using the Scrapy downloader genspider Generate new spider using pre-defined templates runspider Run a self-con...

2020-04-11 10:06:23 193

转载 【HTTP】Fiddler(三)- Fiddler命令行和HTTP断点调试

目录一.Fiddler内置命令1.select命令2.allbut命令3.?text命令4.>size和命令<>5.=status命令6.@host命令7.Bpafter,Bps,bpv,bpm,bpu二.使用Fiddler进行HTTP断点调试设置断点终止断点一.Fiddler内置命令上一节...

2020-04-09 19:30:11 50

转载 【HTTP】Fiddler(二) - 使用Fiddler做抓包分析

目录Fiddler抓取HTTP请求1.Statistic2.Inspectors3. AutoResponder4. Composer5. Filter上文(http://blog.csdn.net/ohmygirl/article/details/17846199)中已经介绍了Fiddler的原理和软件界面。本文主要针对Fiddler的抓包处理。Fiddl...

2020-04-09 19:23:43 61

转载 【HTTP】Fiddler(一) - Fiddler简介

目录1.为什么是Fiddler?2.什么是Fiddler?3.Fiddler使用界面简介1.为什么是Fiddler?抓包工具有很多,小到最常用的web调试工具firebug,达到通用的强大的抓包工具wireshark.为什么使用fiddler?原因如下:Firebug虽然可以抓包,但是对于分析http请求的详细信息,不够强大。模拟http请求的功能也不够,且fireb...

2020-04-09 19:12:01 62

转载 Java语言实现 Base64 加密 & 解密

Base64是网络上最常见的用于传输8Bit字节码的编码方式之一,Base64就是一种基于64个可打印字符来表示二进制数据的方法。 Base64编码是从二进制到字符的过程,可用于在HTTP环境下传递较长的标识信息。 采用Base64编码具有不可读性,需要解码后才能阅读。 Base64由于以上优点被广泛应用于计算机的各个领域。 本文讲解如何使用Java语言实现Base64的加密和解密。(基于...

2020-03-26 14:57:06 170

原创 ORA-12514, TNS:listener does not currently know of service requested in connect descriptor问题

今天使用Java程序连接一台Oracle数据库(ORACLE 11g)时,遇到了“ORA-12514, TNS:listener does not currently know of service requested in connect descriptor”错误,具体提示如下所示Listener refused the connection with the following ...

2020-03-26 14:48:28 1655

原创 Java操作Oracle实现使用PreparedStatement 批量更新数据

目录背景一、获取数据库连接二、关闭数据库连接三、获取查询数据四、对数据进行加密并批量更新背景今天需要实现将Oracle数据库中的指定字段取出来,使用Base64进行加密,然后将加密结果存回去,涉及到Oracle数据库的操作。一、获取数据库连接public static Connection getConnection(){ Connect...

2020-03-26 14:10:07 325

原创 Python打开文档的几种类型

只读的方式打开,文件的指针停放在文件开头参数 含义 w 打开文件用于写入,(写入的代码后边),如果文件存在,就覆盖文件内容,文件不存在,就新建文件,用于存储 a 打开文件用于追加,继承w的特性(当文件存在内容时a不会覆盖),追加的内容将加在文本最后 rb 以二进制的方式打开文件,用于只读。(其余与r 相同) wb 以二进制的方式打开,写入。(其余与...

2020-03-23 20:48:26 124

原创 Python3爬虫解决获取异步请求数据问题

Table of Contents问题描述解决思路方案一方案二问题描述在爬取数据详情页面时候,需要将评论数(评论条数)爬取到,但是评论数和详情页面的数据不是同步请求的,在后于详情页面载入数据,如果使用urllib.request.openurl直接抓取页面,得到的结果就是在抓取的页面时,评论数还没有填充到页面上,导致无法获取评论数据。解决思路方案一既然是评...

2020-03-23 20:39:55 885

转载 EasyCode(代码神器)

目录1、安装(EasyCode)2、建立数据库3、在IDEA配置连接数据库4、开始生成代码5、pom.xml6、Application.yml7、启动项目Easycode是idea的一个插件,可以直接对数据的表生成entity,controller,service,dao,mapper,无需任何编码,简单而强大。1、安装(EasyCode)...

2020-03-12 18:33:44 252

原创 Git笔记

目录菜鸟教程Git 教程Git 安装配置Git 工作流程Git 工作区、暂存区和版本库Git 创建仓库Git 基本操作Git 分支管理Git 查看提交历史Git 标签Git 远程仓库(Github)Git 服务器搭建常用命名菜鸟教程Git 教程 https://www.runoob.com/git/...

2020-03-04 17:37:55 55

原创 IDEA自定义类代码模板注解

在IDEA创建文件时,需要进行注解。IDEA提供了自定义模板,只要定义好后,在创建文件时就会将注解自动生成。File --> Settings -->File and Code Templates --> Class自定义的注解模板/** * @ClassName ${NAME} * @Author ${USER} * @Date ${DATE} ${T...

2020-01-09 15:06:25 157

goods_detail.txt

最近学习安卓逆向,接触一下TB系的APP,了解大厂APP是做数据安全的,这篇文章主要介绍某宝APP的签名参数x-sign的HOOK过程,当然,其他的参数也是可以HOOK的。本文只用于学习交流,请勿他用。商品详情信息

2020-11-27

goods_ids.txt

最近学习安卓逆向,接触一下TB系的APP,了解大厂APP是做数据安全的,这篇文章主要介绍某宝APP的签名参数x-sign的HOOK过程,当然,其他的参数也是可以HOOK的。本文只用于学习交流,请勿他用。采集的商品id。

2020-11-27

user_base_info.json

Spark大型电商项目-用户活跃度分析模块-数据

2019-08-05

user_action_log.json

Spark大型电商项目-用户活跃度分析模块-数据

2019-08-05

area_top3_product.sql

MySQL中 area_top3_product表,task_id、area、area_level、product_id、city_names、click_count、product_name、product_status

2019-04-01

city_info.sql

各区域热门商品统计数据设计表,使用Spark SQL从MySQL中查询出来城市信息(city_id、city_name、area),用户访问行为数据要跟城市信息进行join,city_id、city_name、area、product_id,RDD,转换成DataFrame,注册成一个临时表

2019-04-01

StriveFarrell的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除