米兰老鼠-CSDN博客

原创如何使用Charles进行APP抓包

如何使用Charles进行APP抓包注意事项：由于现在7.0以上的版本不再信任用户安装证书，所以建议使用安卓系统版本低于7.0的设备进行配置抓包。Charles链接：https://pan.baidu.com/s/1jtGlhWNtwGDzILrxZ_6sIA提取码：b94b安装Charles同意协议下一步这里可以修改软件的安装路径，我这里保持默认路径，下一步点击 install 等待安装完成点击 Finish 完成安装破解Charles将压缩包内的 charles.jar

2021-01-27 17:17:39 13441 5

原创 Python urlparse方法总结

Python urlparse用法这里写目录标题Python urlparse用法1.调用库2.方法总结该模块定义了一个标准接口，用于分解组件中的统一资源定位符（URL）字符串（协议，域名服务器，路径等），将组件组合回URL字符串，并将“相对URL”转换为给定“原始URL”的绝对URL。1.调用库from urllib import parse2.方法总结urlparse() 解析URL>>> url='http://xinwen.eastday.com/a/n18110

2020-10-20 22:58:10 13321

原创 Flume 入门

Apache Flume简介什么是Flume？Apache Flume 是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集、聚合和移动大量日志数据到一个集中式的数据存储区。Flume 的使用不只限于日志数据。因为数据源可以定制，flume 可以被用来传输大量事件数据，这些数据不仅仅包括网络通讯数据、社交媒体产生的数据、电子邮件信息等等。Apache Flume 是 Apache 基金会的顶级项目，在加入 Apache 之前由 cloudera 公司开发以及维护。 Apache Flume

2020-06-11 22:38:28 285

原创 kafka环境安装

kafka 的安装及启动安装 kafka 之前需要先安装以下依赖环境：JDK 8ZooKeeperLinux环境下安装JDK：下载并安装。首先在Oracle官网https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载JDK1.8安装文件，下载 Linux 版本的 J...

2020-04-30 22:20:30 357

原创 python调用elasticsearch_dsl的indices.analyze接口分析字符串遇到的坑

今天尝试用 elasticsearch_dsl 的 indices.analyze 接口分析字符串遇到的大坑，我所用的版本是 elasticsearch-dsl 6.4.0我看的视频教程中调用 indices.analyze 接口是这样写的：res = es.indices.analyze(index=index,body=text,analyzer='ik_max_word',params=...

2020-04-29 19:20:22 698

原创 Scrapy之Spider的用法

Spider的用法Spider是定义一个特定站点（或一组站点）如何被抓取的类，包括如何执行抓取（即跟踪链接）以及如何从页面中提取结构化数据（即抓取项）。也就是说我们要抓取的网站的链接配置、抓取逻辑、解析逻辑等其实都是在 Spider 中定义的。Spider 运行流程在实现 Scrapy 爬虫项目时，最核心的类便是 Spider 类了，它定义了如何爬取某个网站的流程和解析方式。简单来讲...

2020-04-28 00:30:04 703

原创 Scrapy之Selector的用法

Selector的用法Scrapy提供了自己的数据提取方法，即Selector（选择器），Selector是基于lxml来构建的，支持XPath选择器、CSS选择器以及正则表达式，功能全面，解析速度和准确度非常高。直接使用Selector是一个可以独立使用的模块。我们可以直接利用Selector这个类来构建一个选择器对象，然后调用它的相关方法如xpath()、css()等来提取数据。例如，...

2020-04-26 20:07:57 992

原创 Scrapy入门

scrapy入门目标：创建一个Scrapy项目。创建一个Spider来抓取站点和处理数据。通过命令行将抓取的内容导出。将抓取的内容保存的到MongoDB数据库。创建项目：创建一个Scrapy项目，项目文件可以直接用scrapy命令生成，命令如下所示：scrapy startproject tutorial文件夹结构如下所示：scrapy.cfg #Scrapy 部署时的...

2020-04-26 01:59:53 835

原创最新 Python 模拟登录知乎

分析登录页面的请求在浏览打开一个隐私模式的浏览窗口，主要是为了避免浏览器已经保存的cookies的干扰，然后再打开知乎登录页面并打开控制台，故意输错手机号或密码便于观察请求，然后登录注意红色的名为sing_in的文件，这就是知乎登录的API接口，也是我们模拟登录的链接。我们需要模拟构建POST请求所需要的Headers和Form-Data这两个对象构建 Headers继续看Reques...

2020-04-17 01:30:03 801 2

wyx1275的博客