- 博客(10)
- 收藏
- 关注
RSS订阅翻译 Scrapy中的自动限速扩展详解
AutoThrottle extension（自动限速）该扩展基于Scrapy服务器负载和当前爬取站点的负载，能够将爬虫的爬取速度自动调整至最佳。你只需要设置请求并发数，扩展就可以完成其他工作师以实现自动限制爬虫请求发起的速度。本文整理自scrapy官方文档基本思想AutoThrottle 动态调整请求间的下载延迟，让爬虫平均向各个网站发送AUTOTHROTTLE_TARGET_CONCURRENCY个并发请求。其思想如下：如果服务器响应需要的时间为latency，那客户端每lantency/N秒发
2022-02-28 19:39:35
1601
原创 Failed to build gem native extension 一种可能的解决办法
最近需要使用redis，需要就开始看各种安装教程下载安装Ruby。下面我说一下我最开始是怎么安装的，然后gem install redis-dum的时候出现如下报错Error: installing redis-dumERROR: Failed to build gem native extension问题是怎么产生的？首先是安装Ruby，到rubyinstaller安装网站：https://rubyinstaller.org/downloads/进去之后如下图安装向导控制台长这样：
2021-12-14 16:13:39
5176
1
原创 飞桨系列课程：AI识虫比赛之使用K-means算法获取锚框（anchors）
在基于锚框的目标检测领域中，锚框的设定一直是一个困难和重要的课题，现在以百度课程中的AI识虫比赛为案例，实现以K-means算法获取锚框（anchors）在百度AI Studio上有比赛对应的昆虫数据集，我也专门为这个算法建了一个项目，项目是基于Notebook建立的，可以直接运行，会更加的直观，感兴趣的伙伴点K-means算法计算识虫比赛锚框导入必要的包import numpy as npimport matplotlib.patches as patchesfrom matplotlib.im
2020-08-30 12:41:40
1659
1
原创 飞桨课程创意项目：基于Paddlehub实现人像背景虚化
利用deeplabv3p_xception65_humanseg与PIL.ImageFilter模块实现人像背景虚化刚兴趣的同志可以直接点AI Stuido项目地址，可直接运行非常方便 ：[基于paddlehub实现人像背景虚化]设计思路# 首先安装 paddlehub!pip install paddlehub --upgrade!pip install paddlepaddle --upgrade# 导入包import cv2import paddlehub as hubimport
2020-08-30 11:50:01
608
原创 windows环境下，百度 paddlehub的安装教程
按照官方文档安装paddlehub不成功，找不到浑头？？？ 对于Anaconda小白和Linux小白，官方文档可以说是很不友好了。总之作为小白的我，按照官方的指令一条条打进去的时候总是得不到想要的结果，导致无法成功安装,但是paddlehub这么方便，那咱必须得给它安排上呀，不然怎么搞百度课程里创意项目?于是我请教了助教哥哥gingkg，才成功完成了paddle的安装！第一步：确认你已经安装了paddlepaddle，且版本>=1.70电脑win+R 进入window命令行窗口输入
2020-08-22 22:53:10
10492
3
原创 飞桨课程一周学习疑难点总结
一周学习疑难点总结：其实做一个周总结，一方面是对自己过去一周学习过程的回顾，另一方面说出自己困惑的地方和疑难点也是一种反馈的过程，希望这一丢丢的反馈能让飞桨团队的课程讲解，课程设置更加易懂。一起为国产深度学习框架出力吧！下面讲一讲学习过程中遇到的一些问题：一. '‘数据处理’'到底该怎么处理？我这里所说的数据处理并不单单指的是，搭建一个深度学习模型第一步数据处理的步骤，而主要指的是整个模型搭建和使用过程中涉及到的数据格式转换的地方。就以手写数字识别这一案例来说，在使用全连接神经网络的时候，我们将
2020-08-17 11:33:03
275
原创 飞桨课程项目学习-手写数字识别笔记
特别注明：本文内容包括但不限于代码，图片均来自AI Studio 官网课程中一个完整的深度学习模型一般包含以下几个内容：数据获取与处理模型设计：网络结构和损失函数训练配置：优化器与资源配置训练过程模型保存与测试下面以手写数字识别项目为例展开讲解：数据获取与处理本次学习使用百度提供的公开的数据集，因此自行获取数据的过程暂不涉及。飞桨提供了多个封装好的数据集API，涵盖计算机视觉、自然语言处理、推荐系统等多个领域，帮助读者快速完成机器学习任务。如在手写数字识别任务中，通过paddle.d
2020-08-17 10:25:26
933
原创 CV中经典的卷积神经网络
计算机视觉中经典的卷积神经网络结构声明：本文图片和文字来自百度AI Studio 网站，仅仅是做一个搬运处理，以便于后期需要时查询。LeNet：Yan LeCun等人于1998年第一次将卷积神经网络应用到图像分类任务上[1]，在手写数字识别任务上取得了巨大成功。AlexNet：Alex Krizhevsky等人在2012年提出了AlexNet[2],并应用在大尺寸图片数据集ImageNet上，获得了2012年ImageNet比赛冠军(ImageNet Large ScaleVisual Recogn
2020-08-14 17:08:35
856
原创 安装了anaconda，pycharm导入numpy时提示没有该包（模块）？
**问题详情：**我安装了anaconda，在利用Pycharm学习numpy这个库的时候，导入numpy这个包的时候提示我没有nummpy这个模块:No module named numpy.如下图所示。应该说安装了Anaconda，里边就自带了numpy这个库，就应该能够使用。我一个新手怎么搞得懂呢？于是网上查了查找到了一个解决办法，说是我项目的解释器应该设置为Anaconda安装目录下的python.exe，而不应该是系统自带的：https://blog.csdn.net/aanndd77/art
2020-07-14 19:30:19
10654
11
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人