自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(462)
  • 资源 (6)
  • 收藏
  • 关注

原创 Spark大型电商项目博客文章索引

在看自己写的文章的时候,总是不能很快找到需要的的文章,几次痛苦经历后,决定将系统性的文章手动建立一个博文目录,快速定位文章,方便查阅。目录广告点击流量实时统计页面单跳转化率用户访问session分析大数据环境搭建广告点击流量实时统计127.Spark大型电商项目-Spark Streaming+Kafka调试之Hive在spark2.0.0启动时无法访问spark-as...

2019-08-04 13:46:33 1157 1

原创 Java调用GZIP对数据进行压缩和解压缩

【代码】Java调用GZIP对数据进行压缩和解压缩。

2022-10-11 10:18:51 278

原创 常用逆向文章和git项目

常用基础设施列表(持续更新)

2022-06-06 11:23:51 1228

转载 Frida常用API:Java,Interceptor,NativePointer(转载)

原文地址:https://blog.csdn.net/qq_40351988/article/details/121487962文章目录前言1.1 Java对象1.1.1 Java.available1.1.2 Java.androidVersion1.1.3 枚举类Java.enumerateLoadedClasses1.1.4 枚举类加载器Java.enumerateLoadedClasses1.1.5 附加调用Java.perform1.1.6 获取类Java.use1.1.7 扫描实例类Java.

2022-05-29 18:47:48 94

原创 android上获取数字版权管理(MRD)MediaDrm ID

android上获取MediaDrm ID主要是使用 DRM API中的MediaDrm,它的作用是来获取用于解密受保护的媒体流的密钥。代码import android.media.MediaDrm;import android.os.Build;import android.util.Base64;import android.util.Log;import java.lang.reflect.Constructor;import java.lang.reflect.Method;

2022-05-26 19:56:28 653

原创 android获取指定文件夹的穿件时间,最近访问时间和最近修改时间

目标检测android手机常用应用时,可以检测应用在指定位置的文件夹属性,来做辅助判断设备的状态。代码import org.json.JSONException;import org.json.JSONObject;import java.io.File;import java.io.IOException;import java.nio.file.Files;import java.nio.file.Paths;import java.nio.file.attribute.BasicF

2022-05-26 19:21:58 598

原创 frida一些常用js脚本

frida一些常用脚本frida暴力破解的时候加点延时防止程序崩溃//frida暴力破解的时候加点延时防止程序崩溃function sleep(time) { var timeStamp = new Date().getTime(); var endTime = timeStamp + time; while (true) { if (new Date().getTime() > endTime) { return;

2022-05-10 19:28:34 2029

原创 汇编指令和机器码在线转换工具

汇编指令和机器码在线转换工具

2022-04-27 00:16:15 7309

原创 使用sandhook进行Native Hook

@[TOC]sandhook进行android的Native层hook为什么写这篇笔记最近在进行so分析,需要将so中一个方法的加密钱的数据获取到,并传到app上获取到进行分析,于是就使用该框架完成了这个功能。代码#include <jni.h>#include <string>#include <android/log.h>#include "sandhook_native.h"#include<dlfcn.h>#include <s

2022-04-25 19:33:19 4739

原创 JSON对象遍历并按照原顺序输出

在工作中,往往遇会遇到对JSON对象的处理,在这里记录一下我需要遍历JSON对象,并对JSON中的每一个加密字段进行解密,并将解密后的JSON元素按照原顺序进行输出。

2022-04-25 19:23:55 2214

原创 在解锁Redmi 5A

解锁Redmi 5A

2022-03-28 23:50:35 361

原创 抓包安卓7以上ca证书安装方法

抓包安卓7以上ca证书安装方法

2022-03-28 23:22:47 1476

原创 frida dump android手机内存数据工具

frida dumpandroid手机内存数据工具

2022-03-13 18:02:27 13038 1

原创 python 使用execjs执行接js解密时报错execjs UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte

最近在部署一个爬虫程序是,出现了这个错误,其实是解决过一次了,在最近对爬虫代码进行交接的时候,又遇到了这个问题。UnicodeDecodeError:'gbk'codeccan'tdecodebyte0xa7inposition1425:illegalmultibytesequence文章地址:https://zhaojiafu.blog.csdn.net/article/details/99984352...

2021-03-01 16:09:15 363

转载 Selenium下Chrome配置 (含启动无痕界面--无界面浏览器)

转载:https://www.cnblogs.com/kaibindirver/p/11432850.htmlSelenium下Chrome配置 (含启动无痕界面--无界面浏览器)例子: 设置无界面模式浏览器启动chrome_options = webdriver.ChromeOptions()chrome_options.add_argument('--headless')driver = webdriver.Chrome(chrome_options=chrome_options)

2021-02-24 09:22:27 2161

转载 selenium变速移动验证码滑块

转载:selenium变速移动验证码滑块'''先加速后减速'''from selenium.webdriver import ActionChainsfrom selenium import webdriverimport timedriver=webdriver.Chrome()driver.get("https://www.qichacha.com/user_login")time.sleep(1)driver.find_element_by_xpath('//*[@id="nor

2021-02-22 15:32:43 429

原创 Xposed HOOK的方法参数是枚举类型处理思路

今天,在使用Xposed框架HOOK一个方法时,传入的参数类型是枚举类型,在解决的过程中,搜索了很多资料,现在就将解决的过程记录下来。1.使用指定的类加载器查找类Class<?> aClass= XposedHelpers.findClass("xxxx", hook.cl);2.通过class获取枚举的实体对象调用class.getEnumConstans() , 该方法返回enum内部已经定义的对象数组 ,再从数组中任取一个即可;参考:JAVA-通过class获取枚举

2021-01-21 15:59:59 1240

原创 Xposed HOOK 闲鱼的x-sign参数

最近学习安卓逆向,接触一下TB系的APP,了解大厂APP是做数据安全的,这篇文章主要介绍某宝直播APP的签名参数x-sign的HOOK过程,当然,其他的参数也是可以HOOK的。本文只用于学习交流,请勿他用。技术支持,扣扣:3165845957{"x-sign":"azSdY1002xAAGTOrG3oat7W3Cl5CuTOpOyrE7MLTDcHmpOcYgQ2AAK2s8P5+RHf/cTJX5G3EEiBQo/ftY5h33uGe4jkzuTOpM7kzqT","wua":"","x-mini-w

2021-01-02 10:48:54 5503 9

原创 安卓逆向Xposed HOOK TB直播APP的x-sign参数(二)

最近学习安卓逆向,接触一下TB系的APP,了解大厂APP是做数据安全的,这篇文章主要介绍某宝直播APP的签名参数x-sign的HOOK过程,当然,其他的参数也是可以HOOK的。本文只用于学习交流,请勿他用。分析展示{"x-sign":"azSdY1002xAAGTOrG3oat7W3Cl5CuTOpOyrE7MLTDcHmpOcYgQ2AAK2s8P5+RHf/cTJX5G3EEiBQo/ftY5h33uGe4jkzuTOpM7kzqT","wua":"","x-mini-wua":"HHnB

2020-12-14 20:51:32 3103

原创 在已解锁的Google Pixel安装Xposed框架

零、为什么写这篇博客?在今年九月份的时候,搞了三台已解锁的Google Pixel手机(买的是二手手机,已经让卖家解锁好了),在上面安装Xposed框架,来做APP数据采集,当时弄了很长时间,开始是使用Andriod 7.0系统,在安装环境的过程中一直遇到问题,但是将系统升级到Andriod 8.0后,问题就解决了,后面就是从一个解锁过的手机上,一步一步的安装整个采集环境。由于但是解决问题后没有写笔记做记录,现在(2020.11.30)公司需要在20台这个版本的手机上安装APP采集环境,之前的操作细节节

2020-11-30 17:38:17 4502 1

原创 安卓逆向Xposed HOOK TB APP的x-sign参数

最近学习安卓逆向,接触一下TB系的APP,了解大厂APP是做数据安全的,这篇文章主要介绍某宝APP的签名参数x-sign的HOOK过程,当然,其他的参数也是可以HOOK的。本文只用于学习交流,请勿他用。包括获取deviceId、sid、uid、appKey、lat、lng、utdid、ttid、x-sign信息。本文只用于学习交流,请勿他用。技术支持,扣扣:3165845957商品ID:goods_ids.txt商品详情:goods_detail.txt商品详情信息:{"vid":

2020-11-27 16:11:36 1754 2

原创 模拟器网络桥接教程

有时候模拟器需要进行桥接,才能满足我们需要的网络需求,下面就记录一下自己在摸索模拟器桥接的方法步骤。目录一、夜神模拟器1.打开夜神模拟器设置2.选择手机与网络3.重启4.查看模拟器IP5.网络端口映射6.启用一个hook程序,验证服务是否可用二、雷电模拟器1.打开设置2.打开网络设置3.打开桥接模式4.安装网络驱动5.重启模拟器6.查看模拟器IP三、可以根据具体需求选择桥接的网络1.网卡选择2.模拟器可以根据具体需求进行选择3.电脑

2020-10-19 19:53:19 12474

原创 微信公众号数据采集

目录一、采集公众号文章URL1.运行环境1.Webdriver2.python运行环境3.cx-oracle4.lxml5.注册一个微信公众号2.采集文章连接1.配置config.txt2.启动程序二、采集文章详细信息1.配置detail_config.txt2.启动程序三、数据1.数据库2.Execl最近统计感兴趣的公众号的阅读数据,这篇文章就记录一下实现过程。本文只用于学习交流,请勿他用。一、采集公众号文章URL本程序主要考虑.

2020-10-12 11:15:10 3461

原创 安卓逆向Xposed HOOK TB直播APP的x-sign参数

最近学习安卓逆向,接触一下TB系的APP,了解大厂APP是做数据安全的,这篇文章主要介绍某宝直播APP的签名参数x-sign的HOOK过程,当然,其他的参数也是可以HOOK的。本文只用于学习交流,请勿他用。一、环境工具环境:windows 10设备:雷电模拟器,google pixelHOOK框架:Xposed插装工具:Frida编译器:android studio反编译工具:jadx抓包工具:Charles分析APP:某淘直播apk(com.***.live_1.8.6

2020-10-01 11:28:44 7603 2

原创 Android 逆向常用命令

在学习《[Android]应用安全防护和逆向分析》过程中,记录一些常用的命令。目录一、非shell命令二、shell 命令三、操作apk命令四、进程命令一、非shell命令1.adb shell dumpsys activity top说明:可以查看当前应用的activity信息。用法:运行需要查看的应用。案例:adb shell dumpsys activity top2.adb shell dumpsys package说明:可以查看指定包名应用的详细信息(..

2020-09-23 16:01:42 336

转载 如何抓取基于Flex技术的网站

Adobe Flex是基于Flash平台,涵盖了支持RIA(Rich Internet Applications)的开发和部署的一系列技术组合。有很多基于Web的网络游戏都是采用Flex技术开发的。Flash(客户端)与服务器之间通信既支持HTTP协议(具体的正文消息格式可以是text、XML、JSON、AMF等)也支持原始的Sockets,以HTTP协议较为常见。对于使用text,XML或JSON形式消息格式的Flex应用来说,对其的分析和抓取方法与基于Ajax的网站一样:通过HTTP协...

2020-09-17 19:52:49 1598

转载 APP数据采集

本文内容来自网络,在自己进行技术调研的手机APP数据采集是网上搜集的资料。其实所谓抓取APP数据和抓取网页数据是存在一定的不同,抓取网页数据可以采用模拟访问网站然后抓取网页接收内容的模式进行数据抓取。而APP则更倾向于通过截获数据传输包的形式进行(Wireshark和Fiddler+Python)。一般来说,我们用WireShark+Fiddler来获取大部分数据是没有多大问题的。但这里有个问题是,如果你碰到的是用SSL/TLS等加密手段加密过的网络数据的时候,往往我们只能束手无策。在过去的话...

2020-09-07 20:18:59 3627 4

原创 Xposed项目环境搭建

目录一、开发环境AndroidStudio 3.5.3Android SDKXposed二、创建项目创建android开发基础项目添加引用声明Xposed模块编写hook代码声明类的入口三、编译测试编译打包成apk安装测试一、开发环境Windows10系统 AndroidStudio 3.5.3 Android SDK XposedAndroidStudio 3.5.3下载安装Android Studio,https://deve...

2020-09-07 19:44:00 709

原创 手机APP逆向工具介绍

目录一、工具1.抓包分析工具2.APP逆向分析工具3.APP代码HOOK工具二、抓包分析工具1.抓包2.代理抓包Packet Capture​​ BurpSuitemimtproxyFiddlerCharls代理dronysocksDroidJustTrustMe三、APP逆向分析工具1.反编译2.查壳3.脱壳4.调试反编译Apktooldex2jarjd-guijadx...

2020-09-07 18:53:15 4669

原创 手机APP数据包抓包分析

最近在对手机APP请求的数据包进行抓包分析,但是在一些运用中,使用简单的HTTP或者HTTPS数据包抓包配置无法抓取到我们想要的数据包。这时候就需要我们借助其他工具来抓取APP的数据包。一、工具模拟器——雷电https://www.ldmnq.com/ld_update_log.html抓包APP——拼夕夕链接:https://pan.baidu.com/s/1Pi6k9UU9u44EFEETXiI-tw 提取码:g3us抓包工具——Charls链接:https://...

2020-09-01 23:55:25 7600 3

原创 Python3操作Execl工具类

import xlrdimport xlwtfrom xlutils.copy import copyclass XlsUtil(): ''' execl操作工具类 ''' def path_is_exist(self, path): ''' 判断是否存在工作簿 :param path: 工作簿名称 :return: 存在 返回True; 不存在 返回False ''' .

2020-08-01 11:07:26 388

转载 Ubuntu中使用python3中的venv创建虚拟环境

以前不知道Python3中内置了venv模块,一直用的就是virtualenv模块,venv相比virtualenv好用不少,可以替代virtualenv一、安装venv包$ sudo apt install python3-venv二、创建虚拟环境首先创建一个项目文件夹,虚拟环境将会安装在项目文件夹下,我这里使用的项目文件夹是myproject,进入mypeoject文件夹,执行命令:$ python3 -m venv venv这时虚拟环境就创建好了,默认是Python3的环境

2020-07-11 13:38:01 623

原创 在线反混淆网站

https://www.bm8.com.cn/jsConfusion/

2020-06-29 11:44:28 4494

原创 WebDriver大全

Firefox浏览器驱动:geckodriverChrome浏览器驱动:chromedriver , taobao备用地址IE浏览器驱动:IEDriverServerEdge浏览器驱动:MicrosoftWebDriverOpera浏览器驱动:operadriverPhantomJS浏览器驱动:phantomjs

2020-06-02 10:48:45 187

原创 Centos安装Python3 Oracle数据库驱动cx-Oracle

目录一、下载Oracle数据的instantClient二、安装Oracle数据的instantClient并配置环境变量三、安装cx-Oracle在本篇文档中,我们使用的是Oracle 11g数据库,所以安装的cx-Oracle版本为5.3一、下载Oracle数据的instantClient下载连接https://www.oracle.com/database/technologies/instant-client/linux-x86-64-downloads.html下载..

2020-05-21 15:48:18 462

转载 docker centos 镜像中安装python36详解!生成centos+python36的基础镜像

目录一、docker拉取centos进行并启动1.拉取centos镜像2.启动并进入centos的容器二、安装python31.安装python3环境依赖2.移除centos中自带的python2.7的环境变量3.下载python3.6.8的源码压缩文件4.安装python3.6.8三、安装pip工具四、导出当前容器为镜像,并上传到局域网镜像库一、docker拉取centos进行并启动1.拉取centos镜像docker pull centos...

2020-05-21 14:11:01 261

转载 反爬虫简述

爬虫程序的访问速率和目的与正常用户的访问速率和目的是不同的,大部分爬虫会无节制地对目标应用进行爬取,这给目标应用的服务器带来巨大的压力。爬虫程序发出的网络请求被运营者称为 "拉圾流量"。  开发者为了保证服务器的正常运转或降低服务器的压力与运营成本,不得不使出各种各样的技才手段来限制爬虫对服务器资源的访问。因为爬虫和反爬虫是综合技术的应用,反爬虫的现象与爬虫程师所用的工具和开发语言有关,甚至与爬虫工程师的个人能力也有一定关联.所以反爬虫的概念常模糊,业内并没有明确的定义。
简而言之,限制爬虫程序访问服务

2020-05-16 09:43:37 958

转载 requests常用属性,requests常用函数的常用参数,response的常用属性

目录requests常用函数属性requests常用函数的常用参数response的常用属性requests常用函数属性requests.get # 模拟发送get请求requests.post # 模拟发送post请求requests.session # 相当于自动帮我们提交cookie的requests# eg:url = "https://www....

2020-05-06 14:54:03 1179

转载 Firefox全历史版本下载

Firefox全历史版本下载:http://ftp.mozilla.org/pub/mozilla.org//firefox/releases/如果只想下载最新版,以下是最新版的各国语言版链接:http://www.mozilla.org/en-US/firefox/all/...

2020-04-22 21:33:07 769

原创 Python3爬虫Scrapy框架常用命令

全局命令 bench Run quick benchmark test fetch Fetch a URL using the Scrapy downloader genspider Generate new spider using pre-defined templates runspider Run a self-con...

2020-04-11 10:06:23 543

goods_detail.txt

最近学习安卓逆向,接触一下TB系的APP,了解大厂APP是做数据安全的,这篇文章主要介绍某宝APP的签名参数x-sign的HOOK过程,当然,其他的参数也是可以HOOK的。本文只用于学习交流,请勿他用。商品详情信息

2020-11-27

goods_ids.txt

最近学习安卓逆向,接触一下TB系的APP,了解大厂APP是做数据安全的,这篇文章主要介绍某宝APP的签名参数x-sign的HOOK过程,当然,其他的参数也是可以HOOK的。本文只用于学习交流,请勿他用。采集的商品id。

2020-11-27

user_base_info.json

Spark大型电商项目-用户活跃度分析模块-数据

2019-08-05

user_action_log.json

Spark大型电商项目-用户活跃度分析模块-数据

2019-08-05

area_top3_product.sql

MySQL中 area_top3_product表,task_id、area、area_level、product_id、city_names、click_count、product_name、product_status

2019-04-01

city_info.sql

各区域热门商品统计数据设计表,使用Spark SQL从MySQL中查询出来城市信息(city_id、city_name、area),用户访问行为数据要跟城市信息进行join,city_id、city_name、area、product_id,RDD,转换成DataFrame,注册成一个临时表

2019-04-01

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除