![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
实习
文章平均质量分 79
MSK_OS
只是一只想提升自己的程序猿
展开
-
正则表达式学习笔记(个人向)
记录正则表达式学习笔记:主要介绍正则表达式基础知识和分组的概念1.什么是正则表达式:用特定规则下的有限的字符串去查询或替换无限的字符串2.转义字符:\n 匹配换行符\r 匹配回车符\t 匹配制表符(tab键)\v 匹配垂直制表符\w 数字或字符或下划线\W 非---------------...原创 2021-08-12 15:35:55 · 112 阅读 · 0 评论 -
再来!使用frida框架hook来获取APP的加密算法的参数
经过上次的简单的hook,自己对frida的使用有了基本的了解(看这篇文章的你也应该能够明白)。在上次的sign值成功解密了加密参数后,又遇到了许多恶心的APP,一类是因为不走xi原创 2021-06-03 15:19:18 · 4312 阅读 · 0 评论 -
Xpath常用函数总结
做了一段时间的爬虫了,虽然很菜,但是对xpath这种基础的东西还是有了一点的认识,不废话了,总结一下吧。这篇文章,我不打算从很基础的来总结,因为各种Xpath教程漫天飞了已经。1.following和following-siblingfollowing和preceding没啥区别,就是一个后,一个前。其实我也搞不懂它和following-sibling具体区别是什么。好像following-sibling是匹配当前节点下面的元素,following就是直接匹配到底,穿了。如果不对..原创 2020-12-20 22:24:03 · 973 阅读 · 0 评论 -
新华网分享页采集方法
1.第一次做的时候: if (url.matches(regxhp)) { List<String> time1 = getElementAgainstXpath(s, "//div"); time = listToString(time1); String regtime = "\\d{4}-\\d{2}-\\d{2} \\d{2}:\\d{2}:\\d{2}"; List<Strin原创 2020-05-24 15:28:39 · 390 阅读 · 0 评论 -
frida框架基本学习
B站的学习视频,还不错分享一下:https://www.bilibili.com/video/BV1Z4411j7at?p=3原创 2020-05-14 10:08:42 · 384 阅读 · 0 评论 -
使用frida框架进行一次简单的hook来获取新闻类APP的sign值
工具准备:frida框架 python 夜神模拟器 需要hook的APP(这里是以掌中惠州为例)1.找到需要hook的函数这里,我是想要得到掌中惠州APP的url中的sign值示例:https://api.xiaodingkeji.com/api/News/GetArticleList?sign=ab7b25edfd90cb17c73375422a75b2ff&stamp=15893375128339rlczb900409171512f7d&ColumnId=143&原创 2020-05-14 10:04:24 · 2977 阅读 · 3 评论 -
安装和使用frida框架
工具准备:frida框架 python原创 2020-05-14 09:35:58 · 749 阅读 · 0 评论 -
逆向学习(二)
加密算法sign的查找原创 2020-04-03 15:07:55 · 203 阅读 · 0 评论 -
手机模拟器安装Xposed框架
如何在手机模拟器上安装xposed呢?工具准备:1.手机模拟器(以雷电模拟器为例子)2.FQ软件3.xposedinstaller安装过程:1.下载一个豌豆荚(别的应用市场也可以)2.搜索xposed框架3.安装4.打开FQ软件(因为xposed框架下载需要,国内网络无法链接下载)5.打开xposedinstall (确定已经root)6.安装适合自己...原创 2020-04-03 14:47:18 · 6574 阅读 · 0 评论 -
逆向学习(一)
APP脱壳,获取DEX文件。原创 2020-04-03 14:38:57 · 1025 阅读 · 0 评论 -
爬虫心得(十一)
如何使用Xpath对标签的属性定位呢?例:想要获取<a>中的href 和文本/li/a/@href/li/a/text()原创 2020-03-31 16:12:35 · 121 阅读 · 0 评论 -
爬虫心得(十)
解决文章列表是html的文章详情页的链接的获取。(模板的配置)之前爬取文章列表的时候都是得到json格式的,因此jsonpath倒是熟悉,没有遇到过是html的。这次遇到了文章列表是html的,所以要使用xpath来获取文章具体内容。例:view-source:http://leaders.people.com.cn/GB/178291/134462/index.html若想...原创 2020-03-31 16:09:42 · 255 阅读 · 0 评论 -
爬虫学习心得(二)
前一部分是对一些基础文件的配置,这一部分是对抓包工具的使用。目录抓包工具fiddler的使用postman使用内容json格式化抓包工具fiddler的使用抓包工具使用的是fiddler,移动端则是使用了逍遥安卓模拟器。这里看了很多教程,但是开始时,想使用自己的手机进行抓包,可是总是获取不到https连接,所以还是改用了模拟器。fiddler抓包教程:https:/...原创 2019-06-11 23:02:40 · 1668 阅读 · 0 评论 -
爬虫心得(三)
说完以上这些,就到了修改xml模板的环节了。目录一 2种模板的作用二 app模板的配置三:template.xml的配置xml模板的作用一 2种模板的作用1.app.xml 是用来配置采集的频道的信息。内容包括频道名称,请求链接,请求方式,请求头等。2.对返回的新闻列表和返回的详情页的处理。TemplateParser是模板解析器,会解析...原创 2019-06-11 23:38:56 · 285 阅读 · 0 评论 -
爬虫心得(四)
这次采集正好赶上我的毕业,所以,晚了三天才看到邮箱里面的任务,这次处理很顺利。但是,也是自以为很顺利,结果还是经历了一些困难。现在就列一下所遇到的问题目录1.RequestDetail函数和ProcessArticle函数的作用2.处理文章中出现的img和video标签3.注意1.RequestDetail函数和ProcessArticle函数的作用RequestD...原创 2019-07-06 01:36:59 · 279 阅读 · 0 评论 -
爬虫心得(五)
此次爬虫,遇到了一个新的问题.就是再爬取新闻链接的时候,出现了外部链接,比如会出现微信文章,央视网这类的外部链接.所以,这次就记录一下,这些外部链接的处理方法.1.普通处理在爬虫心得(四)里面已经解释了RequestDetail和ProcessArticle两个函数的意义所以,ProcessArticle函数的第一个参数即为html源码,外部链接的html源码也会记录在此....原创 2019-07-06 01:52:44 · 316 阅读 · 0 评论 -
爬虫心得(六)
还是上次的爬取遇到的问题。这次主要是遇到的日期问题和正则匹配Url的问题。日期问题主要解决的是xml模板中publishtime不能使用的问题。正则匹配则是解决获取正确的url的问题。1.日期问题2.正则匹配问题3.json文本处理问题目录1.日期问题2.正则匹配问题3.json文本处理问题1.日期问题a.内部链接获取日期问题b.外部链接获取日期...原创 2019-07-20 10:25:39 · 166 阅读 · 0 评论 -
爬虫心得(七)
返回值为html文本处理问题这里主要是解决返回值为html的文本,该如何处理的问题。在java中解析html就需要使用jsuopjsoup教程:https://www.cnblogs.com/zhangyinhua/p/8037599.html举个例子: org.jsoup.nodes.Document doc = Jsoup.parse(cret); ...原创 2019-07-21 10:00:23 · 164 阅读 · 0 评论 -
常用链接的文本xpath路径
http://rmfp.people.com.cn/n1/2019/0706/c406725-31217756.htmltext //div[@class='box_con']https://wap.peopleapp.com/article/rmh5377863/rmh5377863htmltext //div[@class='article']http://www.x...原创 2019-07-25 21:59:44 · 306 阅读 · 0 评论 -
爬虫心得(九)
这次是遇到了POST爬虫问题所以,这次需要解决POST的相关问题1.POST和GET的区别a.post请求的参数是不会留在浏览器中的,所以post请求比get请求要更加地安全b.post的参数是不会在Url中体现出来的,所以更加安全c.另一个区别可能就是post请求的长度没有限制的,get请求是在Url后添加的,因为Url是有长度限制的,所以get请求是有长度限制的d.其他...原创 2019-08-05 18:50:05 · 151 阅读 · 0 评论 -
爬虫学习心得(一)
本文主要说明pom readme app.proprity文件的配置。原创 2019-06-11 22:19:18 · 4063 阅读 · 0 评论