sinat_32501475的博客

OpenAI越来越火，大有要干掉一片程序员的架势。在此，我们看看Sider（本文使用的OpenAI工具）对爬虫的看法。

爬与防爬就是一场“道高一尺，魔高一丈”的拉力赛，双方都在见招拆招。时至今日，较为常见的防爬手段有手机短信验证、滑块验证、按顺序点击图片验证等。本文主要介绍滑块验证的应对之法。

数据资产是数据中台的重要根基，没有资产的数据中台是无源之水，就只能叫作数据工具。在数据中台架构中，数据资产建设、管理、治理是重头戏。

爬取百度、搜狗、必应等搜索引擎时，详情页的正文因来源多样而无法简单通过通用的规则来匹配，这就需要相关的提取算法。本文在此介绍两种网页正文提取算法：行块分布算法 & Readability。

图像相似度算法

事务是MySQL等关系型数据库区别于NoSQL的重要方面，是保证数据一致性的重要手段。

这篇文章主要介绍了MySQL中的触发器trigger用法解析，触发器是由事件来触发某个操作，这些事件包括 INSERT、UPDATE、DELETE事件，事件就是指用户的动作或者触发某项行为。

加密算法分对称加密和非对称算法，其中对称加密算法的加密与解密密钥相同，非对称加密算法的加密密钥与解密密钥不同，此外，还有一类不需要密钥的散列算法。

本文汇总了几种常见的时间序列预测方法。

LSTM算法是一种重要的目前使用最多的时间序列算法，是一种特殊的RNN（Recurrent Neural Network，循环神经网络），能够学习长期的依赖关系。主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。

爬取数据时，请求需要带上Cookie，这是很常见的一种防爬手段。更新Cookie，常用的方法就是Selenium模拟输入用户名和密码；偶尔会遇到图片验证码，现在打码平台很多且技术也很成熟，这个已经不成问题。所谓“道高一尺，魔高一丈”，频繁访问且不断切换IP的账号，平台考虑减少误杀的情况，不可能直接封号，那就只能在登录上设置障碍；正常账号输入手机短信验证码就应运而出了。

最近和同事分模块联合开发代码，自然而然就要用到 Git 管理代码；借此机会，对 Git 进行简单介绍。

Kettle（水壶）是一款国外开源的 ETL 工具，现在已经更名为 PDI，Pentaho Data Integration-Pentaho 的缩写，由纯 java 编写，可以在 Window、Linux、Unix 上运行，绿色无需安装，数据抽取高效稳定。它可以处理各种异构数据库中的数据，并且提供了可视化图形界面的方式进行操作，让你思路主要关注在如果处理数据上，而不是如何实现处理的过程。

Inspeckage，动态分析安卓 APP 的 Xposed 模块

数据爬取本就是“道高一尺，魔高一丈”；越往后，爬取越接近于真实，真实包含了真实的运行环境（不再是简单地伪造请求、User-Agent和Cookie等）和真实的操作流程。本文对APP的运行环境做了简单梳理以供参考。

Charles信任证书后依然无法抓包的解决方案

事务是由数据库中一系列的访问和更新组成的逻辑执行单元。事务的逻辑单元中可以是一条SQL语句，也可以是一段SQL逻辑，这段逻辑要么全部执行成功，要么全部执行失败。

做分布式爬虫时，结合已有的架构，直接对某网站的详情页进行了爬取；尴尬的是，某网站需先采集列表页，之后才能采集详情页；这种防爬手段使用了用户行为监控，行为异常的访问直接就给屏蔽了。对于这种情况，既要满足分布式的性能要求，又要模拟合理的用户行为，程序中就要对列表页的访问加锁。

视图（view）是一个虚拟表，非真实存在，其本质是根据SQL语句获取动态的数据集，并为其命名，用户使用时只需使用视图名称即可获取结果集，并可以将其当作表来使用。数据库中只存放了视图的定义，而并没有存放视图中的数据。这些数据存放在原来的表中。使用视图查询数据时，数据库系统会从原来的表中取出对应的数据。因此，视图中的数据是依赖于原来的表中的数据的。一旦表中的数据发生改变，显示在视图中的数据也会发生改变。

为了保障数据对接的安全性，我们采用AES与RAS结合加解密的方案。