How to collect data

原创 已于 2024-01-05 10:05:52 修改 · 1.2k 阅读 · 8 ·
CC 4.0 BY-SA版权
知识在分享中升华，思想在交流中沉淀。
文章标签：

#数据采集

于 2024-01-04 09:45:55 首次发布
本文探讨了如何收集数据，包括爬虫技术（如Java和Python的urllib和requests配合BeautifulSoup），以及应对反爬虫的各种策略（信息校验、动态渲染、文本混淆等）。同时，涵盖了自动化测试工具（如Selenium、Appium、RPA框架）及其在商业和开源环境中的应用，还提及了验证码识别和处理方法。

How to collect data

爬虫

Java

Python

urllib

requests

BeautifulSoup

反爬虫

信息校验型反爬虫

  • User-Agent反爬虫

  • Cookie反爬虫

  • 签名验证反爬虫

  • WebSocket握手验证反爬虫

  • WebSocket消息校验反爬虫

  • WebSocket Ping反爬虫

动态渲染反爬虫

文本混淆反爬虫

  • 图片伪装反爬虫
  • CSS偏移反爬虫
  • SVG映射反爬虫
  • 字体反爬虫
  • 文本混淆爬虫通用解决办法

特征识别反爬虫

  • WebDriver识别
  • 浏览器特征
  • 爬虫特征
  • 隐藏链接反爬虫

App反爬虫

  • App手抓包
  • APK文件反编译
  • 代码混淆反爬虫

验证码

  • 字符验证码
  • 计算型验证码
  • 滑动拼图验证码
  • 文字点选验证码

自动化测试工具

Selenium

Appium

QMetry Automation Studio

TestComplete

RPA

商业化产品

艺赛旗

影刀

UIPath

开源产品

Robot Framework RPA

参考文献

关于fvcom_swave一些问题
CHEN_BR/BLOG
08-29 2038
如果想在外部计算SWAN，之后计算结果弄到FVCOM中，使用FVCOM做浪流耦合计算，应该怎么编译啊？看不太懂make.inc。手册上写只开FLAG37就可以，是这样吗？FLAG32-FLAG37都是什么意思？ 32是浪流双向耦合，34是采用显式计算，35是只计算海浪（纯碎的FVCOM-SWAVE，我理解），其他不知道。34不开的话就需要开PETSC，超慢，真的。。。 来源：https://tieba.baidu.com/p/4787902154 ...
Salesforce Data Cloud Consultant Certification
LL83477的博客
03-28 2092
The Salesforce Data Cloud Consultant credential is designed for individuals who have experience implementing and consulting on enterprise data platforms in a customer-facing role.
Roofline-on-NVIDIA-GPUs代码分析
yiran103的专栏
12-04 2742
Roofline 代码现状： CS Roofline Toolkit 为 Roofline Model Toolkit: A Practical Tool for Architectural and Program Analysis 的实现，uo-cdux/ert-mirror 为 github 上的一个镜像； cyanguwa/nersc-roofline 为 Hierarchical Roofline Analysis: How to Collect Data using Performance To
How to collect HW info by Ipmitool
Nexneta连连看
09-15 2838
This article describes howto use 'ipmitool' to collect information on platform events,sensors, status LEDs, and hardware components, from the ServiceProcessor (SP). It also covers the use of ipmitool
How to collect ilom snapshot via CLI
Nexneta连连看
09-15 4257
Using the Oracle ILOM Snapshot Utility (CLI) Before You Begin ■ To collect SP data using the Service Snapshot utility, you needthe Admin(a) role enabled. To run the Service Snapshot utility, follo
Script to Collect Data Guard Primary Site Diagnostic Information for Version 10g and above(+RAC)
DBA never sleep-DBA，永不眠
12-19 2768
-- NAME: new_dg_prim_diag.sql  (Run from sqlplus on PRIMARY with a LOGICAL or PHYSICAL STANDBY as SYS) -- ------------------------------------------------------------------------   -- Copyright 2002
How to collect ilom Snapshot via Web GUI
Nexneta连连看
09-15 1367
============================================================== To run the ILOM Snapshot utility using the ILOM web interface: ============================================================== 1. Log i
How to Collect Diagnostics for Database Hanging Issues (文档 ID 452358.1)
mybluetiankong的专栏
11-23 927
In this Document   Goal   Solution   What is needed to diagnose "Database Hang" issues?   A. Dumps and Traces   Hanganalyze and System
How To Collect Diagnostic Data to Troubleshoot Create Accounting in Oracle Assets?
yy5512的专栏-Oracle ERP 经验累计
08-04 2036
Applies to: Oracle Assets - Version: 12.0.0Information in this document applies to any platform.FAACCPB - Create Accounting - AssetsXLAACCUP - Accounting Program GoalHow to collect diagnostic da
how to collect perfetto logs on android
最新发布
07-10
adb shell perfetto -c /path/to/config.txt -o /sdcard/trace.perfetto-trace ``` 注意：配置文件的内容需要根据需求编写。 四、导出跟踪文件： 使用ADB命令将跟踪文件从设备导出到电脑： ``` adb pull /...
How to run the regression with daily data for each stock per month
12-03
- **VIX Data**: Collect daily VIX data from the Chicago Board Options Exchange (CBOE). #### 2. Data Preparation - **Stock Returns**: Calculate the excess returns for each stock by subtracting the ...
How to understand the Trusted Intelligent Computing Service in Huawei Cloud
在路上
01-02 1339
How to understand the Trusted Intelligent Computing Service in Huawei Cloud
How to understand DataArts Insight in Huawei Cloud
在路上
01-02 1284
How to understand DataArts Insight in Huawei Cloud
How to understand ModelArts in Huawei Cloud
在路上
12-29 1058
How to understand ModelArts in Huawei Cloud
How to understand Exchange Data Space in Huawei Cloud
在路上
01-02 1055
How to understand Exchange Data Space in Huawei Cloud
How to understand privacy computing
在路上
01-03 898
How to understand privacy computing
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

qwfys200

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值