谈谈爬虫和反爬虫的理解

版权声明:如果转载,请注明 https://blog.csdn.net/weixin_44607176/article/details/89459711
首先说一下爬虫是什么: > 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 这里借用了百度百科的专业描述,如果你把浏览器每次渲染后的页面保存到本地,你也可以称之为爬虫或采集器, 常见的爬虫: 1. 简单粗暴,直接for url page++ [file or sql],当然了 所有的爬虫大多是这个结构,复杂就是细分了呈树形 一般来说普通网站是不可能搞反爬后面再分析,先看看简单网站爬取
爬取方式{
分析url接口:{
	分析规律然后模拟或者根据上级页面得到下级的接口数据
	可以递归处理 {
		cookie:{
			cookie的话有两种一种是服务端返回的set-cookie 另一种是浏览器依靠js生成的
			服务器返回的cooki可以通过访问主页获取一般网站是这样,
			说到这里说一下服务端和客户端交互的原理{
				1:依靠cookie 通过处理cookie 来交互 常见的你可以看到网站提交一大堆cookie 确认身份,权限之类的
				2:依靠Session  Session 简单来说就是服务器存放的一个 哈希表 ,客户端请求会生成唯一Session值 对应客户身份 可以在同一域名下起作用 ,生命周期就是客户端开连接也就是你关闭浏览器 或者页面,常见就是 只有一个cookie 这个呢 就算你后端什么也不写 服务器会自动生成的 所有完全靠后台判断处理
				一般无需登录的网站只需要你模拟访问他的主页 会返回一个带有Session的唯一值的cookie  这个可有可无 有些web框架会自动处理请求 如果不带这个cookie的Session
				他会认为请求非法 ,框架一般会根据Session和协议头来判断你是否请求合法
				3:两者混合 
			}
			一般来说我碰到的第一种居多,只要是本地js生成cookie的网站 不用说 是一丢丢小反爬{
				这里也涉及到混淆js 加密js 
				{
					加密js:{
						这个常见一般都是使用js工具加密之后 ,处理的话 很简单 都是开源的 找一找加密的特征去谷歌80%都能找到 
						或者自己逐句分析下断从栈把还原算法 抠出来
					}
					混淆js{
						公司内部都有自写的混淆算法 ,除非你要和他硬磕,一般都是无头浏览器 这里我推荐selenium
						无头浏览器只是封装了一个渲染引擎 用selenium的话可以直接操作浏览器
						我推荐操作火狐,如果多开的话 只有火狐可以禁止css渲染 提高采集效率
						或者头铁 就是要提取他的算法 也可以 从头到尾把所有都看一遍 就八九不离十了,
						之前百度有个在线字体处理库 我发现把他的所有文件都下载 本地也可以处理 然后花了两天把他的字体处理库提取出来 
						怎么样分析js这个需要js基础,会点皮毛就可以分析皮肤 理解越多分析复杂度越高,所以以后有这类问题 不如直接去学js  说不定哪天可以去干前端
					}
					
				}
			}
		}
		加密参数{
			服务器返回的参数
			本地生成的密匙签名
			这里的话也不多说同上 无非就是js问题 
			加密的话比较常见的{
				rsa
				aes
				des
				md5
				{
					每种算法都有各自特征
					比如md5 你看签名参数的位数大体可以判断出来
					aes-des 这个都是base64编码 可以看出来 不排除丧心病狂的用十六进制或者别的方式
					而且大部分后端程序员功力没那么深 改不了算法 所以知道怎么加密的 直接用你熟悉的语言写 没必要非要扣他的算法得不偿失
					如果真要扣的话,学js 就行了 
				}
			}
		}
	}
}

后面会谈谈验证码处理 还有反爬虫 和 怎么爬反爬虫的处理方式 发这个仅仅是为了爬虫入门的理解 授之以渔

展开阅读全文

没有更多推荐了,返回首页