笔记本IT的博客

文章目录一、steam平台js算法逆向二、百度翻译JS逆向一、steam平台js算法逆向1 通过Network 我们发现了2个数据接口 getrsakey dologin在dologin 密码是做了加密处理​2 通过搜索关键字password 然后我们确定了一个数据接口 login.js....继续去它的源码当中搜索关键字 password 。然后逐个分析 var encryptedPassword = RSA.encrypt(password, pubKey); 它可能可以​3 通过断点

一、字体反爬什么是字体反爬?开发者创作了一种字体（字体代号) --> 网页中显示的就是这种字体代号一般为CSS反爬 就是因为这个字体是隐藏在我们css文件当中的一个.ttf文件​如何解决字体反爬?1 先找到.ttf文件 （在网页源代码中搜.ttf）需要把它转换成xml文件 （在pycharm）2 分析xml文件 通过 FontCreator（360应用市场搜索下载即可）（得字体列表）3 找出字体对应的映射关系 --->和真实的字体做替换​需求：爬取文字字体内容​第一步

一、图形验证码（实现上次的12306突破验证码）12306图片验证码的实现​解决方案: selenium（鼠标行为链） + 打码平台​思路:通过selenium来加载登录页面，获取验证码图片。我就可以把验证码图片交给超级鹰打码平台进行处理。让其给我返回这张验证码正确的坐标值。拿到正确的坐标值之后去点击图片​实现步骤第一步 使用selenium加载登录页面第二步 对页面进行保存（截屏，通过selenium）第三步 截取12306图片验证码 (通过selenium)第四步 交给超级鹰打码

文章目录一、运用ip代理（一个代理ip尽量只一个人用）二、图形验证码（有两种）2.1简单数字加字母类型tesseract2.2复杂（图片，等）打码平台一、运用ip代理（一个代理ip尽量只一个人用）这里的ip指的是网络ip代理ip，网上自己找（免费或付费）推荐两个：“豌豆HTTP”:免费，具体使用，看之前的“快代理”:付费介绍：（有试用期限）私密代理与独享代理：可靠性高，难点在于代码格式：proxies = {'协议':'协议://用户名:密码@ip:端口号'}开放代理：类似免费的

文章目录一、fiddler抓包工具了解二、爬移动端数据前的配置三、案例（豆果美食、全民小视频）3.1 豆果美食3.2 全民小视频一、fiddler抓包工具了解Tools>>actions(安装证书)Rules>>Require Proxy Authentication(若勾选，每次登陆都要有提示)Process(进程)二、爬移动端数据前的配置fiddler(见以前的blog)模拟器的配置(以下)查找ip ipconfig (a.b)1. 点击系统设置 --

文章目录一、拓展：android控件ListView的讲解(以后再细学)二、fiddler与 switchomega插件一、拓展：android控件ListView的讲解(以后再细学)环境 找博客视频按照1 安装jdk 就可以使用java这门语言进行开发了2 android studio (安卓应用开发环境，基于**java开发**)​学习原因就是我们在爬取移动端数据的时候 必须要分析数据接口，我们难免会碰到一些android的名词。对于这些名词我们应该有一个基本的认知​听思路 不用看代码

文章目录一、移动端数据抓取的背景介绍二、UiAutomator介绍三、UIAutomator2的执行流程四、adb的简介与安装和应用重点五、u2的快速入门（先初始化，后连接）一、移动端数据抓取的背景介绍PC端 --> 移动端 --> 大数据移动端数据的作用?数据分析用户画像统计系统商业竞争二、UiAutomator介绍ua是什么？是谷歌提供给安卓用来做自动化测试的一个Java库​​ua能够做什么？测试框架创建一个或多个设备针对于我们的应用进行自动化性能的UI测试

一、mongodb的概述1 它是什么？MongoDB就是一个非关系型数据库(文档数据库)​​2 为什么要学习它？- 企业需求(要求爬虫开发工程师必须会这个技术)- 爬虫的数据如果上了一个量级，使用MongoDB会比Mysql好一些 - scrapy_redis适用性小(并不是所有的公司都要用分布式)​3 mongodb的特点？3.1 无数据结构(方便做爬虫)3.2 高性能(具有非常高的读写性能)3.3 良好的支持(完善的文档 跨平台 稳定)二、mongodb的安装具体安装教程

scrapy_reids补充学习目标1 通过一个案例改成成scrapy_redis 当当网2 案例练习 小说 盗墓笔记1 当当网当当网 http://book.dangdang.com/思路：先实现普通的scrapy爬虫，然后在改写成scrapy_redis​**第一步 页面分析**需求：大分类 二级分类 三级分类 图书的名字和图片的src​大分类整个大分类都在 div con flq_body 它下面的 div/dl/dt注意：1 在大分类中有一个span标签，但是源码中没有

这半个月停更python的学习内容，是因为准备期末考试，害。现在考完了，今天开始将疯狂学python和java, 哈哈。期间学到的心得和体会，我都会毫无保留的分享，请大家多多关照よろしくお願いします 잘 부탁드립니다. I’d appriciate your attention for our first meeting文章目录一、redis-set二、redis-zset三、python操作redis四、scrapy分布式爬虫实现4.1 什么是scrapy_redis4.2 scr

（码前）页面分析真正理解代码（run前）注意缩进看是否有明显错误（出现BUG）先看URL yieldxpathsettings细节：使用Images Pipeline下载图片时，images文件夹要自己建解析数据xpath 先在草稿纸上写下来json.loads(response.text) 即通过字典...

一、crawlspider引入：回顾之前的代码中，我们有很大一部分时间在寻找下一页的url地址或者是详情页的url地址上面，这个过程能更简单一些么？定义：是scrpay另一种爬取数据的方式学习目标：了解crawlspider的使用crawlspiser是继承与spider这个爬虫类它的特点：根据规则提取链接发送给引擎如何创建crawlspiderscrapy genspider -t crawl xx xx.com有些场景使用crawlspider还是比较方便 前提是什么 (url的

1import urllib.requesturl='https://www.baidu.com/s?wd=海贼王'res = urllib.request.urlopen(url)UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 10-12: ordinal not in range(128)原因：url包含不是ascii的字符处理：把“海贼王”改为%+十六进制（法1：百度，法2 urllib.par

一、复习bs4xpath:记语法、copy (full) xpathbs4:(三大种类操作)遍历父、长辈们上、下兄弟（们）子、晚辈们查找“搜索文档树”（以后再看）find/find_all [元素、属性值、字符串]修改第十讲的select()、修改文档树（以后再看）补充：Comment : 注释html = '<a><!--大家慢慢来，好饭不怕晚，先把知识点掌握--></a>'soup2 = BeautifulSoup(ht

（1）问题：爬取7天的 天气情况 日期 天气状况温度 风力–> 保存到CSV分析需求 要干什么事情 通过什么技术来解决爬取7天的 天气情况 日期 天气状况温度 风力–> 保存到CSV​具体步骤（分析页面）1.先明确目标url通过分析我们发现要爬取的数据都在 ul class=“t clearfix” 这个标签当中，然后我们就去网页的源代码中确定了2.先获取网页的源代码 整个html文件3.从网页的源代码当中去匹配ul标签的数据4.从ul标签里面去匹配li标签的数据5.去解析