半吊子python全栈

日常更新

大众点评 与 美团 与饿了么

好久没有写博客了~~ 自从换了工作就一直忙 一直忙~~ 现在腾出点时间,记录一下最近遇到的一些问题 最近主要写了 大众点评 美团 和饿了么的一些东西 ,这里不纠结具体细节,只说一下遇到的各种坑 1.大众点评: 在3个中 我觉得难度最低吧,最坑的一点是ip验证,一个ip只有通过了验证码 才能...

2019-05-20 18:18:24

阅读数 18

评论数 1

appium 多开

最近跑一个app 使用的是appium,单开太慢了~,就想多开,结果遇到一个问题,最后解决了,这里记录一下! self.desired_caps = { "platformName": PLATFROM, &q...

2019-03-26 13:48:55

阅读数 109

评论数 1

IT IS *NOT* POSSIBLE TO DETECT AND BLOCK CHROME HEADLESS

转载 地址https://intoli-dot-com.ext.jsproxy.tk/blog/not-possible-to-block-chrome-headless/ (直接使用浏览器只带的翻译了) 几个月前,我写了一篇名为Making Chrome Headless Untetecta...

2019-03-11 18:37:32

阅读数 184

评论数 0

一行代码解决 window.navigator.webdrive 的问题

from selenium.webdriver import Chrome from selenium.webdriver import ChromeOptions option = ChromeOptions() option.add_experimental_option('excludeS...

2019-03-11 16:52:34

阅读数 267

评论数 1

携程机票查询

比较简单,直接放代码,代码仅供学习。 import requests, re, json, time, random city_listed = {"阿勒泰": "AAT", "兴义"...

2019-03-08 18:14:44

阅读数 267

评论数 1

拼多多 anti_content 解密

当前时间:2019/3/4 14:44:57 最近有些时间里,时不时听到拼多多 市值多少啦,买东西怎么了啊,被赞羊毛了啊! 然后就想花了一天半来分析 拼多多的前端js 这里我使用的接口是http://mobile.yangkeduo.com手机网页端,其中主要的js代码就是截图中的sea...

2019-03-04 17:57:22

阅读数 1398

评论数 14

java 图片相似度算法

转载自:https://www.sunjs.com/article/detail/24dd9a9e436e489185430c4c45034d69.html 利用直方图原理实现图像内容相似度比较、均值哈希实现图像内容相似度比较、汉明距离算法实现图像内容相似度比较 直方图原理实现图像内容相似...

2019-02-28 14:49:44

阅读数 146

评论数 0

Java 操作 Excel

备份一份! 转载着:https://blog.csdn.net/jianggujin/article/details/80200400   之前写过一篇《JAVA操作Excel》,介绍了jxl和poi读写Excel的实现,今天为大家介绍一下使用easyexcel对Excel进行读写,项目主页...

2019-02-18 17:59:55

阅读数 123

评论数 0

【Fiddler为所欲为第二篇】像OD一样调试

 转载自 https://www.52pojie.cn/thread-854434-1-1.html 导语: 其实Fiddler隐藏的功能太多太多,其调试功能也是异常强大,可以说是抓包界的“OllyDbg”并不为过。接下来,教大家如何使用Fiddler进行调试、解析,甚至封包“逆向”!   一...

2019-01-31 15:17:18

阅读数 138

评论数 0

Fiddler大解析!抱歉,抓包抓得好真的可以为所欲为(一)

转载自  https://www.52pojie.cn/thread-854434-1-1.html 狂暴补师亚丝娜 说起抓包,很多人以为就是用个工具,简简单单地抓一下就可以了。昨天在面试一个安卓逆向,直接告诉我【抓包没有技术含量】。在这里,我必须发一个教程,解析一下抓包神器——Fiddler。...

2019-01-31 15:12:49

阅读数 543

评论数 0

中国商标网 -爬虫

        最近有时间,找了一些比较麻烦的网站来练手,然后想起来 以前说要弄商标网的,今天就又上去看了下!         以前转载的链接 :商标局网请收下我的膝盖         上去查看了下,感觉怎么参数这么明显了!!!???      应该是取消了很多爬虫限制!         然...

2019-01-24 18:39:22

阅读数 1247

评论数 1

行政区---高德坐标系的获取

        最近研究了 一下美团外卖,需要获取某些地区下的所有外卖信息, 解决了获取数据的难题,但是美团限制,一个地点只能获取200个商家,如果想要获取全城的外卖信息,就需要使用不同的坐标来遍历一遍,在去重~~         百度了一下 美团使用的是高德坐标系,网上找了一下,发现有这样一个...

2019-01-23 13:50:57

阅读数 89

评论数 1

记:当爬虫无路可走的时候

最近帮一朋友"了解" http://app1.sfda.gov.cn 食药局 这个网站下的一些数据, 首先 一上来就正按照之前的正常操作:         第一条路:分析js找到加密参数是如何生成的,然后发现debug 模式被ban了,调试半天不知道如何解除...

2019-01-22 17:22:49

阅读数 254

评论数 4

python 操作 excel 文件

官方 地址 :http://www.python-excel.org/ 使用xlsxwriter (只能写 不能读取)来进行写成.xlsx文件 可以使用xlrd 写成 xls 文件 简单 demo 如下: import xlsxwriter, csv # 创建excel 对象 w...

2019-01-16 14:45:18

阅读数 86

评论数 0

JAVA 实现MD5加密

package crawl; import java.security.MessageDigest; import java.security.NoSuchAlgorithmException; public class CreateMD5 { public static String get...

2019-01-09 16:39:23

阅读数 117

评论数 0

一张流程图简化安卓动态调试步奏

    1.不应该在AndroidManifest.xml中添加android:debuggable="true",app一旦加固了,会检测自己有没有被修改!一旦发现被修改,就打不开或报错! 推荐修改系统中ro.debuggable这个属性值,ro.de...

2018-12-19 16:16:34

阅读数 138

评论数 0

appium + 真机 获取微信公众号 信息

2018.11.30 昨天简单获取了一下微信朋友圈,算是对appium 又回顾了一遍,今天爬一波微信公众号,改天研究一下微信app的加密 直接上代码: import time from lxml import etree from appium import webdriver from ...

2018-11-30 18:45:07

阅读数 607

评论数 2

appium 之爬取微信朋友圈

2018.11.30 号 我的相关工具:appium desktop v1.9.1  虚拟机 夜神模拟器 v6.2.2.7  1.相关看了一下 网络开发爬虫实战 这本书里面appium 相关内容后写的 import time from appium import webdriver fro...

2018-11-30 10:45:16

阅读数 1141

评论数 3

xpath etree 异常

在windows 下,获得服务器端返回的json数据,然后在json数据中取出 html ,结果使用xpath 解析,结果异常 最后发现是windows 系统中 将/ 解析成\/ 产生的异常 只需要进行 html.replace("\\/",&q...

2018-11-26 15:59:09

阅读数 187

评论数 0

CSV 文件 写入引号 和 换行

问题:需要在csv文件中写入 双引号 和 换行 解决,在需要写双引号的地方在加一个双引号 进行转义,这一格的数据是必须用双引号括起来的, 参考文档:https://tools.ietf.org/html/rfc4180...

2018-11-09 18:48:50

阅读数 1141

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭