- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 关于Java爬虫工程师（中级）应该会的技术与知识
关于Java爬虫工程师（中级）应该会的技术与知识 数据包及抓包相关内容 数据的追踪与反追踪 数据的整理与维护 常见反爬思路及反反爬思路 调度器与下载分离，且学会使用配置文件 学会使用python脚本来调用python库 对目标源的搜集要学会套用SEO思路 学会一种融合的搜集思路 如果没有看之前的初级篇的话，建议还是去看一下，因为确实引了很多新人入手的链接及资料查找思路。下面进入正题...
2018-08-20 00:09:28
773
1
原创 现代的爬虫----一黑一白，坎坷曲折（ps：当作聊斋类型看）
站在一个年轻开发者的角度来看爬虫，虽然做过几个项目，但是有时会给我一个很迷茫的错觉。 首先，爬虫简单来说就是自动化地在网络上搜索数据，然后我得到我想得到的有用信息。这样看确实没错，但是却是在这里出现了两极分化。 一面呢，注重技术。那么注重技术需要你会哪些技能呢？首先，网络相关的东西你都要懂的，因为这涉及数据包的捕获啊；其次，代理你也要懂的，因为你要学会伪装啊；框架？你干嘛要会框架？这需要框架吗...
2018-08-17 20:25:49
244
原创 渗透学习的前几章内容回顾
很多技术都是近期刚接触的，所以想着巩固一下要点。 代理 临时代理 非临时代理 代理这一块是很重要的，所以对于如何操作代理是一定要知道的。 翻墙代理的话，我们还要去了解防火墙的相关内容以及实现中间跳转的机制，及tor隐密的关键点。 显卡驱动的安装 因为GPU的应用越来越广泛，很多算法也都基于GPU去完成的，所以对于其驱动及配置也是有必要了解的。 kali对于电脑的损耗...
2018-08-17 19:49:36
234
原创 我所了解的相关抓包工具
针对于爬虫来说，涉及到很多关于数据包的问题，而对于数据包的产生来说，了解相关网络协议及其他网络知识是必不可少的，因此我在这里罗列几款抓包工具。（PS：对于爬虫而言，你个人知道的技术越多，而目标方对你了解的越少，对于你获取数据也就越有利，所以有时候我们会发现很多技术的开源是在已经实现完大部分商业链之后才会开源的。就好比在挖0day的时候，这种漏洞带来的价值很有可能是非常巨大的） 几款常见的抓包工具...
2018-08-17 19:25:33
252
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人