lx_考古学家lx_CSDN博客-Django基础学习,爬虫案例合集,Python网络爬虫领域博主

原创 Asyncpy协程爬虫框架

Asyncpy是我基于asyncio和aiohttp开发的一个轻便高效的爬虫框架，采用了scrapy的设计模式，参考了github上一些开源框架的处理逻辑。github: https://github.com/lixi5338619/asyncpypypi: https://pypi.org/project/asyncpy/安装需要的环境python版本需要 >=3.6依赖包： [ ‘lxml’, ‘parsel’,‘docopt’, ‘aiohttp’]如果安装报错：ERROR:

2020-05-23 01:52:51 497 5

原创 pythonlx备忘录

欢迎大家关注pythonlx公众号！我会定期在公众号上分享python案例，总结一些学习心得。

2019-07-09 18:15:35 329

原创 unidbg调用so文件生成xgorgon

unidbgunidbg特点unidbg环境配置加载libcms.so目前 App 基本都使用so加密签名算法，如果强行逆向so文件的话可能会消耗大量时间和资源。之前用 xposed 采用 hook 的方法从程序计算签名，但是需要模拟器或者真机运行这个应用，使用效率不高。也用过 jtype 启动JVM，然后通过 native 对so文件进行调用，因为每次都需要启动JVM，所以效率也不高。unidbg 他不需要运行 app，也无需逆向 so 文件，通过在 app 中找到对应的 JNI 接口，然后用 u

2020-08-07 17:55:48 74 8

原创 mongodb被勒索数据被清空

Hello! Your database has been uploaded to our server. To get your database back, you have to pay $ 300 for this bitcoin wallet: 1YxJc6DKvHHRNNtM4UxRnzPqBp5cEWJVe . You can buy bitcoin here https://localbitcoins.com using this guide https://localbitcoins.co

2020-08-05 15:37:08 909

原创 mongodb优化

查询优化：字段优化、加入索引库名: lx创建索引:db.lx.createIndex(keys, options) Keys 为你要创建的索引字段，1 为指定按升序创建索引，如果你想按降序来创建索引指定为 -1 即可。查询创建是否成功:db.lx.getIndexes()删除索引:db.lx.dropIndexes()MongoDB连接内存优化和连接数优化mongodb每个连接数占用10M内存。可以使用 db.serverStatus().connections 查看连接数.

2020-07-24 16:08:50 64

原创抖音评论协议

接口名类型链接视频评论接口posthttps://aweme.snssdk.com/aweme/v1/comment/publish/?''' post_comment '''def post_comment(aweme_id,keyword): """ :aweme_id: 视频id :param keyword: 评论内容 :return: json """ url = 'https://aweme.snssdk.co...

2020-07-22 19:49:54 361 4

原创 1688官网以图搜图爬虫案例

阿里1688图片搜索爬虫案例图片上传接口sign生成接口数据详情接口代码部分网址：https://www.1688.com/在1688.com 使用程序完成图片上传功能。图片上传接口post请求，form表单中有signature签名sign生成接口全局搜素找一下signature，发现了一个返回signature的接口。接口链接： https://open-s.1688.com/openservice/ossDataService这个接口也有一个变动的参数 appKey

2020-07-18 13:58:28 297

原创模拟1688(跨境产品开发工具)滑块验证码案例

模拟阿里1688(跨境产品开发工具以图搜图)滑块验证码的案例演示：网址如下，需要登陆后才能使用以图搜图的功能：https://kj.1688.com/pdt_tongkuan.html?spm=a262gg.9720235.j6h9wmfu.4485.33241c9bNmbQIu查看接口，普通的get请求，headers中也没有什么过分的参数，要注意一下Gzip，可以把他注释掉，否则response返回的是压缩后的数据，还需要使用gzip.decompress来解压。大概提交了30次左右会出

2020-07-18 01:38:57 306

原创抖音xgorgon(0401)

下载完apk之后,使用AK反编译,可能需要升级apktools到2.3.4,然后在 androidkill\bin\apktool\apktool 下执行语句, 清除framework java -jar .\ShakaApktool.jar empty-framework-dir在工程搜索中全局搜索 x-gorgon,并打开查看localHashMap.put(“X-Gorgon”, com.ss.a.b.a.c(com.ss.sys.ces.a.leviathan(i, com.ss.a

2020-07-16 17:17:06 980 8

原创抖音综合榜单数据爬虫案例
原力计划

2020-07-02 14:03:51 823 3

原创抖音分享页面signature

nonce 是 uid, 可以为None.sec_uid 是用户对应的ID: “MS4wLjABAAAAshzXgVS8HqF8PomFlCATZjkjC48Az0d8tk28RXRgrbA”查询 _bytedAcrawler 。可以发现 webpack_require 函数定义了一个可以在浏览器中执行的加载函数，来模拟Node.js中的require语句。...

2020-07-01 09:15:46 1514 7

原创 Java爬虫框架WebMagic
原力计划

WebMagic的架构设计参照了Scrapy，而实现则应用了HttpClient、Jsoup等Java成熟的工具。WebMagic由四个组件(Downloader、PageProcessor、Scheduler、Pipeline)构成:Downloader : 下载器PageProcessor: 页面解析器Scheduler：任务分配、url去重Pipeline：数据存储、处理WebMagic数据流转的对象:Request : 一个Request对应一个URL地址。它是是Page

2020-06-10 15:28:44 890

原创当我遇到钓鱼网站
原力计划

发现钓鱼网站我平时会刷一会儿微博，看看当前热门数据。前天的时候在热门微博里看到了一则广告 <6月幸运召唤师抽奖> ，身为一个从s3开始入手的老玩家，没有丝毫犹豫直接从链接点了进去。身为程序员的我，近些年也算是浏览大千网站，打开网页的第一时间就感觉有些不对。经过确认，该网站为钓鱼网站，直接从微博像官方账号进行了反馈，也在12321进行了网站举报。并没有这么简单然而今天洽过午饭之后，打开微博发现事情并没有这么简单，该网站还是钓到了很多人微博的超链接标签看不到详细的url，所以很多使用

2020-06-08 17:31:53 1272 10

原创 Java文件操作
原力计划

Java文件操作文件写入读取文件内容删除文件文件内容拷贝文件追加数据创建临时文件修改文件的修改日期获取文件修改时间获取文件大小文件重命名设置文件只读检测文件是否存在File类创建文件文件写入使用 BufferedWriter类的 write() 方法向文件写入内容。BufferedWriter:将文本写入字符输出流，缓冲各个字符，从而提供单个字符、数组和字符串的高效写入。import java.io.*;class Text { public static void main(Strin

2020-06-05 11:47:19 165

原创 Java时间处理

Java时间处理格式化时间获取当前年份月份等时间戳转日期格式日期格式转时间戳格式化时间使用 SimpleDateFormat 类的 format(date) 方法来格式化时间import java.text.SimpleDateFormat;import java.util.Date;public class Test{ public static void main(String[] args){ Date date = new Date(); Syst

2020-06-04 16:06:05 122

原创 Java数组
原力计划

Java数组数组排序及元素位置查找数组添加元素获取多维数组长度数组反转数组获取最大值和最小值数组合并数组填充数组扩容查找数组中的重复元素删除数组元素判断数组是否相等数组查找指定元素数组的差集数组的交集数组的并集数组排序及元素位置查找使用sort()方法对Java数组进行排序使用 binarySearch() 方法来查找数组中的元素的位置。(Arrays.binarySearch方法使用前，需要对数组排序，才能定位值插入位置，因为binarySearch采用二分搜索法)import java.ut

2020-06-04 15:48:48 113

原创 Java字符串操作
原力计划

java字符串操作字符串替换字符串切片字符串查找字符串分割字符串反转字符串比较首字母的ASCII差值查找字符串最后一次出现的位置字符串小写转大写判断两个字符串区域是否相等字符串格式化字符串替换字符串函数 replace() 函数来替换单个字符。replaceFirst() 替换第一个的regex匹配项，replaceAll()替换所有的regex匹配项，String的replaceAll跟replaceFirst使用了正则表达式！public class Test{ public stat

2020-06-04 11:50:59 163

原创 Java关键字和相关疑问总结

Java 关键字类别关键字说明访问控制private私有的protected受保护的public公共的default默认类、方法和变量修饰符abstract声明抽象extends扩充,继承final最终值,不可改变的implements实现（接口）interface接口native本地，原生方法（非 Java 实现）new新,创建static静态strictfp

2020-06-02 17:36:45 131

原创今日头条as-cp-sign值生成
原力计划

今日头条用户文章列表页的as—cp-sign的生成规则和模拟方法。本文内容不可用于商业用途,仅做学习交流。https://www.toutiao.com/c/user/104246645773/#mid=1610946690248711AS-CP比较简单。找到之后copy出来就行。Sign值相对复杂一点，先找到 byted_acrawler 后，来追一下sign方法。经过调试，会发现byted_acrawler走到了 https://sf1-ttcdn-tos.pstatp.com/obj/

2020-05-30 11:20:19 673 2

原创 Ubuntu18.04 mongodb 安装到使用

一、安装1. 更新sudo apt-get update2. 安装sudo apt-get install -y mongodb3. 创建配置文件：创建并打开service文件sudo vim /etc/systemd/system/mongdb.service写入下面的命令并保存。[Unit]Description=High-performance, schema-free document-oriented databaseAfter=network.target[Servi

2020-05-27 14:58:20 191

原创 Asyncpy使用文档 Demo
原力计划

Asyncpy使用文档1 创建项目2 发送get和post请求2.1 使用start_urls发送GET请求2.2 使用start_requests发送POST请求3 自定义请求头3.1 settings中设置请求头3.2 在middlewares中添加请求头3.3 添加代理IP4 修改并发延时重试等配置4.1 修改settings中的配置4.2 修改指定爬虫文件的配置5 生成日志文件5.1 修改settings配置5.2 多个爬虫指定日志文件6 解析response提取数据6.1 response.tex

2020-05-24 23:33:23 271 1

原创优酷评论sign值生成方法

优酷评论爬虫之前抓取的是页面数据，没有具体去看评论接口的参数，昨天发现优酷web版上面的评论模块没了(我猜是要更新评论数据的加载策略,之前页面加载太慢了)然后我就开始调试接口的sign参数，走接口拿数据。这篇文章说下优酷评论sign的生成方法。[具体过程不做太多介绍，文章末尾放代码]一个电视剧的链接：https://v.youku.com/v_show/id_XNDIyMjY5NDcyMA==.html评论数据的接口:接口：https://p.comments.youku.com/yc

2020-05-13 14:34:12 268

原创抖音APP接口分析
原力计划

抖音搜索接口接口名类型链接抖音搜索接口posthttps://aweme-hl.snssdk.com/aweme/v1/challenge/search/?query string parameters 参数：(链接上的附加参数)params = {'update_version_code': '9802', 'aid': '1128', ...

2020-05-08 16:44:44 4173 55

原创抖音用户视频爬虫案例
原力计划

文章目录抖音分享页面抖音视频sign值生成运行环境：Code：抖音无水印视频抖音分享页面之前有相关文章介绍了分享页面的抓取和sign值的生成。要看详细方法可点击下方链接。本篇文章主要是说一下最新生成sign值的代码，最后会贴在文章下方。抖音用户信息爬取案例抖音视频分享页面_signature新版的分享页面上增加了webdriver的验证，并且今年谷歌新版本浏览器停止了对开发者模式隐...

2020-05-06 12:50:44 2172 31

原创搭建frida+木木模拟器运行环境

目录pip安装frida安装木木模拟器开启模拟器的root权限打开模拟器USB调试安装RE文件管理器下载frida服务端-Android下载frida-server文件移动文件到tmp下使用adb连接mumu模拟器设置frida-server权限并启动查看是否启动成功pip安装frida本机环境win10 (AMD64)、python3.6.4pip install frida如果报错:...

2020-04-10 17:35:22 1243

原创 Xposed模块编写基础案例

如果一直有这个问题， gradle project sync failed. basic functionality - - - - - - - -就改成这个。implementation ‘com.android.support:appcompat-v7:27.1.1’

2020-04-09 11:12:02 146

原创微信小程序反编译
原力计划

具体目录位置直接给出：/data/data/com.tencent.mm/MicroMsg/…/appbrand/pkg/如果不好找的话，可以直接通过搜索来进行检索。下面 .wxapkg 类型的文件，这些就是微信小程序的包...

2020-04-03 17:01:22 314

原创 Android常用反编译工具
原力计划

常用反编译工具apktool ：反编译apk,重构。dex2jar ：反编译apk，解压 classes.dex 文件JD-GUI ：将class文件反编译成java源代码AndroidKiller : 可视化、全自动的反编译、编译、签名；支持批量编译APK。GDA：第一款国产交互式反编译器jadx：反编译利器，支持命令行和图形界面autosign：签名工具xposed：hook框架apkto...

2020-04-02 11:14:18 280

原创 IDEA创建Android项目并反编译APK

IDEA创建Android项目并连接木木模拟器创建安卓项目项目结构app/src/main/res/layout/activity_my.xmlapp/src/main/java/example/com/androiddemo/MainActivity.javaapp/src/main/AndroidManifest.xmlapp/build.gradle连接木木模拟器一开始我是准备使用Andr...

2020-03-31 16:00:49 418

原创抖音sign值生成失效分析(2020-03)

这两天发现抖音分享页面用户视频数据获取不到了目前用户信息还是可以正常获取的：抖音用户信息爬取案例之前的sign生成方法：抖音视频分享页面_signature我简单检查了一遍发现是sign值错误。一开始我以为是抖音更新了sign的生成方法，经过检查和与之前的代码对比，生成方法还是与之前一样。于是我猜测应该是我的程序被识别出来，导致被ban掉。我用selenium打开了链接...

2020-03-24 13:38:03 1430 5

原创抖音用户信息爬取案例

抓包。抓到了一个share_url我访问过去看了下，https://www.iesdouyin.com/share/user/102064772608有数据的。那就拿数据。然后发现它的数字做了字符集映射。搞他。下载.ttf的文件，s3a.bytecdn.cn/ies/resource/falcon/douyin_falcon/static/font/iconfont_da2e2...

2020-01-10 11:27:52 52375 138

原创人报客户端 Securitykey生成问题

人民日报客户端链接中有一个 securitykey ：单条数据的json格式:http://app.peopleapp.com/Api/600/homeApi/getArticleInfo?article_id=4376091&device=d5a5402b-8b5d-366a-b709-bf7391be9f88&type=0&user_id=0&securi...

2020-01-02 13:50:05 973 3

原创抖音热搜及话题数据爬虫

祝大家元旦快乐 ! 新的一年里,愿你脱去一身的疲惫,将精神振奋;忘却一年的伤心,将快乐装备;抖落一切的郁闷,将朝气携身;愿你沐浴在友谊的阳光下,奋勇前进。正文明天补上，今天出门过个节...

2020-01-01 11:56:22 2802 5

原创乌班图18.04安装Google和ChromeDriver

先吐槽一下，乌班图18.04自带python2.7和python3.6版本，强烈建议不要删除2.7版本。可以直接使用python3.6，安装一下pip3就可以了。sudo apt-get install python3-pip找一个目录，我在 /opt 下先下载谷歌浏览器，走下面三部：wget https://dl.google.com/linux/direct/google-chr...

2019-12-25 15:46:00 700

原创通过微信公众平台获取公众号文章

我之前自己维护了一个公众号，但因为个人关系很久没有更新了，今天上来缅怀一下，却偶然发现了一个获取微信公众号文章的方法。之前获取方法有很多，通过搜狗、清博、网页端、客户端等等都还可以，这个可能并没有其他的优秀，但是操作简单，很容易理解。so、首先需要有一个微信公众平台的账号微信公众平台：https://mp.weixin.qq.com/登陆之后，进入首页，点击新建群发。选择自建图文...

2019-12-24 14:26:56 1389

原创 TCP connection timed out:110 (Scrapy)

使用 scrapy 的时候，莫名出现了 ‘‘TCP 连接超时’’ 的错误，错误状态码110TCP : 传输控制协议，是一种可靠的面向连接的协议从客户端来看，在我们的应用场景中，因为频繁的使用短连接，而且在同一台机上的客户端的数量比较多，造成了大量的 TIME－WAIT 状态的端口，当 TIME－WAIT 状态端口的数量铺满了整个 port_range 范围后，就会产生 99 号错误；从...

2019-12-09 16:23:08 1058

原创 charles把抖音数据保存到本地处理

目前抖音的加密难度较高，对于只需要获取一些指定数据的工作任务来说代价太大。所以可以采用模拟器加抓包工具，将数据保存到本地，再用python来提取，处理数据。下面做一个案例示范：抖音APK的版本如果你目前的抖音不能配合模拟器打开，那就换一个老版本，或者更换模拟器再次尝试。我把之前老版本的抖音安装包copy了一份。这里大家可以自行选择。apk百度网盘链接: https://pan.b...

2019-12-06 17:16:13 1558 9

原创 Excel数据透视表切换老版样式

我之前可能使用代码处理数据的能力比使用工具要更好一点，那是因为并没有完全掌握一款工具的使用。数据透视表视图模式发生变化：excel 常见有两种文件类型，xlsx （2003工作簿）和 xls（1997-2003工作簿）用老版本的文件格式 .xls 生成透视表则是带蓝格可拖拽的透视表。用新版本的文件格式生成透视表则如下图的透视表：下面我们需要把该数据透视表转为老版本的样式。...

2019-11-20 15:19:49 1104

原创抖音视频分享页面_signature(2019版)

抖音分享链接： https://www.iesdouyin.com/share/user/102064772608主要目的是追一下抖音web分享页面接口中 _signatrue 的生成。打开控制台，找 _signaturesignatyre:可找到是 bytedAcrawler . sign() ,下面先看bytedAcrawlerbytedAcrawler:douy...

2019-11-18 09:09:20 3250 24

原创 MAC下抖音APK反编译

dex2jar 安装我们下面的操作需要使用到 mac上Android反编译工具dex2jar已经安装过的可以直接前往下方查看。dex2jar下载地址： https://sourceforge.net/projects/dex2jar/files/?source=navbar点击下载后，直接进行解压解压完成后，后面我们反编译直接调用sh脚本即可。jd-gui 安装《JD-GUI...

2019-11-11 17:38:01 1358 1