爬虫 | 机器学习
文章平均质量分 79
记录爬虫相关知识点
戴国进
往后余生,专注人工智能领域!!!
展开
-
BurpSuite 爆破后台帐户系统密码
而爆破的密码不是随机的,需要让BurpSuite跑字典,字典的内容就是需要爆破的密码,使用题目给用的字典,若没有字典可以尝试自己手动使用txt纯文本录入或上网搜索资源。成功抓包后,即可开始爆破密码,首先需要知道题目用户名,通常来讲用户名为admin,题目中的提示也是admin,所以将username设置为定值为admin。打开浏览器,进入设置页面,在代理设置中设置IP地址为127.0.0.1,端口号为8080。添加符号注意,在值前后都加上符号是定值,只在前面加符号是变量,爆破针对变量!原创 2024-04-18 16:47:11 · 443 阅读 · 0 评论 -
CUDA error: uncorrectable ECC error encountered
ECC(error correcting code, 错误检查和纠正)能够提高数据的正确性,随之而来的是可用内存的减少和性能上的损失。可查看第n个个显卡的简要信息(详细信息可通过 nvidia-smi -q -i 0获取),其中有一项是volatile Uncorr. ECC, 可通过该选项查看当前配置。通过 nvidia-smi -i n -e 0/1 可关闭(0)/开启(1)第n号GPU的ECC模式。通过实践,关闭ECC程序的性能能得到13%~15%的提升。经过摸索,需要关闭英伟达显卡的ECC参数。原创 2024-02-19 21:59:24 · 900 阅读 · 0 评论 -
NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver. Make sure that the lat
刚开始以为是驱动安装包的问题,但是从英伟达官网下载多个不同版本的驱动安装后,执行nvidia-smi命令依然报一样的错误。查阅大量网上资料后最后定位是 ubuntu 内核版本的问题,通过以下方案解决。后面有recommended的版本就是推荐安装的nvidia驱动版本号。使用root账户执行上面的命令,然后再执行第2步即可。原创 2024-01-09 22:39:22 · 972 阅读 · 0 评论 -
Pytorch报错 RuntimeError: cuFFT error: CUFFT_INTERNAL_ERROR
将线上V100显卡运行的lama图片去水印服务 docker 容器迁移到线下 4090 显卡上运行;3、 重新安装 pytorch。1、卸掉容器中的cuda。4、出现另外的依赖报错。2、重新安装cuda。原创 2023-11-30 21:57:04 · 1631 阅读 · 0 评论 -
Nvidia Triton 使用入门教程
所谓自定义backend就是自己写推理过程,正常情况下整个推理过程是通过模型直接解决的,但是有一些推理过程还会包含一些业务逻辑,比如:整个推理过程需要2个模型,其中要对第一个模型的输出结果做一些逻辑判断然后修改输出才能作为第二个模型的输入,最简单的做法就是我们调用两次triton服务,先调用第一个模型获取输出然后进行业务逻辑判断和修改,然后再调用第二个模型。不过在triton中我们可以自定义一个backend把整个调用过程写在里面,这样就简化调用过程,同时也避免了一部分http传输时延。原创 2023-08-03 21:32:08 · 825 阅读 · 0 评论 -
详细 英伟达 各显卡型号
NVIDIA常见的三大产品线如下Quadro类型: Quadro系列显卡一般用于特定行业,比如设计、建筑等,图像处理专业显卡,比如CAD、Maya等软件。GeForce类型: 这个系列显卡官方定位是消费级,常用来打游戏。但是它在深度学习上的表现也非常不错,很多人用来做推理、训练,单张卡的性能跟深度学习专业卡Tesla系列比起来其实差不太多,但是性价比却高很多。Tesla类型: Tesla系列显卡定位并行计算,一般用于数据中心,具体点,比如用于深度学习,做训练、推理等。原创 2023-07-18 19:59:52 · 6193 阅读 · 0 评论 -
MIG-GPU简介与A100-MIG实践详解
GPU的切分(虚拟化)需求基本来自于两个方面,一个是普通消费者,二个是计算/服务中心。对于普通消费者(用户),希望使用到新推出的GPU特性,比如某些高性能的CUDA操作,而这些操作只有高版本的硬件SM才具备;同时,很多情况下消费者并不能用满一整张显卡(比如V100或者A100)的所有资源;另外“数据中心”类的GPU产品,价格都比较高(V100、A100都是wRMB为单位)。所以消费者在使用、价格方面有小资源高性能的GPU需求。某购物平台上面的GPU价格。转载 2023-06-27 22:02:48 · 1744 阅读 · 2 评论 -
Ubuntu安装英伟达显卡驱动、Cuda和Cudnn
文件夹是个软链接,链接到目前的cuda版本目录,所以如果要切换版本的话,只需要将原来cuda软链删除,重新建立指向另一个cuda-xx目录即可。每次安装都会出现如下提示,实际上pre-install固定会失败的,目的就是为了让你知道你自己在干嘛,选择。那一行之后,根据自己上面安装的Cuda版本选择对应的Cudnn版本下载,这里选择的是。为最高能支持到的cuda版本,并非当前系统安装的cuda版本。是否安装显卡驱动,由于上面我们自己安装过了,所以这里选择输入。如果机器上安装了多个版本的cuda,则会在。原创 2023-06-14 10:04:23 · 10106 阅读 · 6 评论 -
ubuntu 22.04 安装 RTX 4090 显卡驱动
成功卸载掉老款驱动后,重新运行下载的驱动安装包,期间可能提示你安装 gcc、make 命令后再安装。经验证,更换4090显卡后,基于cuda10.2编译的pytorch已不受支持;更换为cuda11.6编译的pytorch可正常使用。安装后第一次开机时间较长,耐心等待。原创 2023-03-09 22:10:56 · 6748 阅读 · 10 评论 -
Android 系统抓包教程
在编写爬虫前,我们都需要对目标应用进行抓包,然后分析一波后,才能进入到编写脚本的阶段对于使用 iPhone 的小伙伴来说,日常抓包不要太容易。PC 端工具,比如:Charles、Fiddler 完全够打;「 Stream」是 iOS 端一款非常强大的网络抓包应用,界面简洁的同时功能非常强大但对于使用 Android 高版本系统的小伙伴来说,抓包就没那么便利了!原创 2023-01-10 18:14:46 · 1547 阅读 · 0 评论 -
安装TensorRT
在安装之前,一定要确认好自己所使用的CUDA、CUDNN和python的版本,因为这关系着tensorrt的版本。测试时cudnn安装的是11.4,执行cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 无法查看到版本号,但并没有影响到下面的安装步骤。以上,我们就成功的将tensorRT安装完了,试着执行一下python,然后看能不能导入这些模块。解压得到TensorRT-6.0.1.5的文件夹,将里边的lib绝对路径添加到环境变量中。原创 2022-11-29 22:19:37 · 849 阅读 · 0 评论 -
多通道(MULTICHANNEL)单通道(SINGLECHANNEL)图像概念
在做机器视觉时,常常要将一个多通道图像分离成几个单通道图像或者将几个单通道图像合成一个多通道图像,以方便图像处理,但是。写这篇博客,是为加深对这两个概念的理解,下面会给出部分OpenCV对单通道与多通道图像间相互转化的,并对运行结果进行观察分析。......转载 2022-08-09 20:27:24 · 2974 阅读 · 0 评论 -
下载对应Chrome版本的chromedriver.exe
写这个主要是今天找这个对应找了好久,最后才发现对照其实可以自己看第一步:查看Chrome浏览版本打开chrome浏览器,输入chrome://version/第二步:进入Chromedrvier下载地址下载地址1:http://npm.taobao.org/mirrors/chromedriver/下载地址2:http://chromedriver.storage.googleapis.com/index.html...转载 2020-12-18 21:36:49 · 8328 阅读 · 1 评论 -
Apache NiFi用户指南
介绍Apache NiFi是基于流程编程概念的数据流系统。它支持强大且可扩展的数据路由,转换和系统中介逻辑的有向图。NiFi具有基于Web的用户界面,用于设计,控制,反馈和监控数据流。它在服务质量的几个方面具有高度可配置性,例如容错与保证交付,低延迟与高吞吐量以及基于优先级的排队。NiFi为所有接收,分叉,加入克隆,修改,发送和最终在达到其配置的最终状态时丢弃的数据提供细粒度数据来源。有关系统要求,安装和配置的信息,请参阅“系统管理员指南”。安装NiFi后,使用支持的Web浏览器查看UI。浏览.原创 2020-05-29 12:07:10 · 8478 阅读 · 0 评论 -
python 爬虫多进程+异步 示例代码
from multiprocessing import Poolimport requests, asyncio, aiohttpimport osimport urllib.requestfrom time import sleepclass Cartoon(): path = '' image_list = [] key = 0 curtitle = 0 headers = { 'Connection': 'keep-alive',.原创 2020-05-30 12:30:56 · 8730 阅读 · 0 评论 -
python爬虫 - 图片下载示例代码
import requestsimport osfrom bs4 import BeautifulSoupimport urllib.requestclass Crawl_Channel_Japan_Proxy(): headers = { "Connection": "keep-alive", "Cache-Control": "max-age=0", "Upgrade-Insecure-Requests": "1", .原创 2020-05-29 11:25:29 · 8310 阅读 · 0 评论