爬虫教程（ 1 ）--- 爬虫教程、路线、spidertools、大佬博文

爬虫入门简单，深入很难。爬虫工程师的尽头是逆向安全工程师。很多搞易语言的对于逆向很拿手，可以逛逛易语言的一些论坛，重要的是思路，实现的语言无所谓。推荐多逛一下各大论坛：

• 看雪安全论坛
• 精易逆向安全
• 夜幕爬虫论坛
• 穿甲兵技术社区

爬虫工程师在线工具库 spidertools：https://spidertools.cn/
K哥爬虫工具：https://www.kgtools.cn/compression/dict
自动解码工具神器：https://github.com/Ciphey/Ciphey

1、教程、路线

相关教程

From：https://www.zhihu.com/question/417653202

• 爬虫入门阶段：《Python3 网络爬虫开发实战》第一版、第二版，作者崔庆才

《Python3 网络爬虫开发实战（第二版）》

• 配置、案例：https://scrape.center/
• 代码：https://github.com/Python3WebSpider

• 爬虫逆向进阶：《反爬虫AST原理与还原混淆实战》，《安卓Frida逆向与抓包实战》
• 反爬套路总结：《Python3 反爬虫原理与绕过实战》
• 数据产品+数据产品思维：《爬虫实战：从数据到产品》

视频方面，进阶，也就是逆向相关的视频：

免费：

• JS 逆向：《K 哥爬虫》 K 哥的小助理带你由易到难学习逆向
• JS 逆向：《志远2021全新js逆向教程，学完这套就够了！（全套开源）》
• APP 逆向：《小肩膀 app逆向百集(105集)》

收费：

• 夜幕出品 JS 逆向：《JavaScript 逆向系列课》 《JavaScript 逆向高阶课》
• 猿人学：《爬虫高阶课程》
• 志远和小肩膀 2022 最新的 JS 逆向和 APP 逆向课程，自己在 B 站找购买方式

爬虫代理推荐：快代理（国内HTTP代理）、bright data（海外HTTP代理）

相关大佬博文

奋飞安全

• ：http://91fans.com.cn/
• ：https://blog.csdn.net/fenfei331
• ：https://www.jianshu.com/u/01dab7278c9f
• ：https://juejin.cn/user/3148642844684638

K哥

• K 哥爬虫代码分享：https://github.com/kgepachong/crawler/
• K 哥爬虫
• ：https://blog.csdn.net/kdl_csdn
• ：https://www.cnblogs.com/ikdl/
• ：https://mp.weixin.qq.com/s/Yezf-ueRi7PxggZtah8K5g
• ：https://mp.sohu.com/profile?xpt=ZWUyODM3YWEtNzNiZi00YmQ1LTgzYTUtMjliNTk0ZTM0Yzhh
• ：https://www.zhihu.com/people/wan-feng-zzz-5
• ：https://www2.jianshu.com/u/d6d773394f99
• ：https://juejin.cn/user/950457502012974/posts
• ：https://space.bilibili.com/1622879192
• K哥：js 逆向百例：https://blog.csdn.net/kdl_csdn/category_11233178.html
• K哥：app 逆向百例：
• 人均瑞数系列，瑞数 5 代 JS 逆向分析：https://blog.csdn.net/kdl_csdn/article/details/126648686
• ​极验三代、四代点选类验证码逆向分析
  • ：https://blog.csdn.net/kdl_csdn/article/details/129859001
  • ：https://blog.csdn.net/kdl_csdn/article/details/129281652

也可以关注 K 哥爬虫公众号，会分享一些 JS 逆向知识，比较适合新手。

路飞 爬虫

• ：https://maomier.com/6082/
• 路飞-爬虫开发+APP逆向：https://www.itwangzi.cn/4739.html

搜索 大佬相关站点、博客、技术论坛，查看系列文章

github Python 爬虫 项目

Github Python 爬虫：https://github.com/search?q=python+%E7%88%AC%E8%99%AB

learn_python3_spider：https://github.com/wistbean/learn_python3_spider

学习路线

：https://www.cnblogs.com/Eeyhan/p/14148832.html

看不清图时，可以把图片保存到本地在打开查看。。。

2、Python3 网络爬虫

：https://cuiqingcai.com/17777.html

 《Python3 网络爬虫开发实战（第二版）》

• ：https://item.jd.com/13527222.html
• 配置、案例：https://scrape.center/
• 代码：https://github.com/Python3WebSpider

3、在线工具库 spidertools

http://spidertools.cn是专为爬虫工程师打造的在线工具库，集合了爬虫工程师常用的工具，例如JSON格式化、Header格式化、Cookie格式化、Dict格式化、JS格式化、curl转python、url参数提取、url转义与反转义、html渲染、文本解码、文本对比、时间转换等工具，致力于提升爬虫开发效率
网站地址：http://spidertools.cn
知识星球 https://t.zsxq.com/eEmAeae

spidertools：https://spidertools.cn/#/article

知识宝库板块，大家都可以提交自己认为有价值的文章，spidertools会备份文章内容，以防止原内容不可访问

4、安卓逆向系列

教我兄弟学安卓逆向系列

From：https://www.52pojie.cn/thread-742703-1-1.html

课程导航:

《教我兄弟学Android逆向01 编写第一个Android程序》
《教我兄弟学Android逆向02 破解第一个Android程序 》
《教我兄弟学Android逆向03 破解第一个Android游戏 》
《教我兄弟学Android逆向04 动态调试smali代码》
《教我兄弟学Android逆向05 在smali代码中插入Log》
《教我兄弟学Android逆向06 用AndroidStudio编写第一个so》
《教我兄弟学Android逆向07 IDA破解第一个so》
《教我兄弟学Android逆向08 IDA爆破签名验证》
《教我兄弟学Android逆向09 IDA动态破解登陆验证》
《教我兄弟学Android逆向10 静态分析反调试apk》
《教我兄弟学Android逆向11 动态调试init_array》
《教我兄弟学Android逆向12 编写xpose模块》

  番外篇导航:

《教我兄弟学Android逆向番外01 apktool的使用》
《教我兄弟学Android逆向番外02 jeb工具的使用》
《教我兄弟学Android逆向番外03 Android逆向必会命令》
《教我兄弟学Android逆向番外04 OLLVM混淆环境搭建》

  教程附件
  链接：https://pan.baidu.com/s/1x0pNcso7TCWMFDZr8AcsIA 密码：ndd0

android 逆向奇技淫巧

：https://www.cnblogs.com/theseventhson/category/2185718.html

android逆向奇技淫巧一：去掉开屏广告&跳过app的某些activity
android逆向奇技淫巧二：uiautomatorviewer&method profiling定位x音java层的关键代码和方法
android逆向奇技淫巧三：MT管理器替代android killer修改和重新编译smail代码/frida hook 更改so层代码
android逆向奇技淫巧四：模拟器检测和反检测
android逆向奇技淫巧五：x音fiddler抓包分析协议字段
android逆向奇技淫巧六：x音关键加密字段算法逆向分析（一）
android逆向奇技淫巧七：apk加壳（一代）和脱壳分析
android逆向奇技淫巧八：apk加壳（二代）和通用脱壳分析
android逆向奇技淫巧九：frida常见java层的加密/hash算法自吐
android逆向奇技淫巧十：OLLVM原理、常见破解思路和hook代码
android逆向奇技淫巧十一：unidbg调用so层函数
android逆向奇技淫巧十二：dexVMP解释器原理及简易模拟实现
android逆向奇技淫巧十三：定制art内核（一）：跟踪jni函数注册和调用，绕过反调试
android逆向奇技淫巧十四：定制art内核（二）：VMP逆向----仿method profiling跟踪jni函数执行
android逆向奇技淫巧十五：x音关键加密字段算法逆向分析（二）
android逆向奇技淫巧十六：frida hook java和so层函数常用脚本
android逆向奇技淫巧十七：android客户端自动x红包（一）：代码原理分析
android逆向奇技淫巧十八：x音so层代码花指令防护分析（三）
android逆向奇技淫巧十九：unidbg模拟执行和trace x音so代码（四）
android逆向奇技淫巧二十：findcrypt和findhash查找疑似加密函数（五）
android逆向奇技淫巧二十一：ida反反调试&加密算法跟踪(未完待续)（六）
android逆向奇技淫巧二十二：ida栈回溯加密算法跟踪(未完待续)（七）
android逆向奇技淫巧二十三：自己写app调用x音关键so(未完待续)（八）
android逆向奇技淫巧二十四：frida rpc调用生成加密字段（九）
android逆向奇技淫巧二十五：x音另类抓包（十）
android逆向奇技淫巧二十六：基础库的hook&x音检测frida方式之一（十一）
android逆向奇技淫巧二十七：AOSP改源码制作沙箱实现“无痕”hook和避开server端风控
android逆向奇技淫巧二十八：x音MD5使用分析
android逆向奇技淫巧二十九：x音AES使用分析
android逆向奇技淫巧三十：so加壳&加固原理简述
android逆向奇技淫巧三十一：unidbg常见功能代码

安卓逆向这档事

安卓逆向这档事：http://zhannei.baidu.com/cse/site?q=%B0%B2%D7%BF%C4%E6%CF%F2%D5%E2%B5%B5%CA%C2&cc=52pojie.cn&ie=gbk