- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【Anchor Free】FCOS: Fully Convolutional One-Stage Object Detection
solve object detection in a per-pixel prediction fashion(逐像素预测)
2023-08-04 16:08:47
70
转载 [Python3] argparse-命令行与参数解析
Python 命令行与参数解析方法有很多工具，本文使用python 自带的argparse 来说明python 如何进行命令行解析。 什么是命令行与参数解析？ 通俗来说，命令行与参数解析就是当你输入cmd 打开dos 交互界面时候，启动程序要进行的参数给定。比如在dos 界面输入： python openPythonFile.py "a" -b "number" 其中的"a"， -b 等就是...
2021-02-26 10:51:47
1011
1
原创 format 格式化函数
Python2.6 开始，新增了一种格式化字符串的函数 str.format()，它增强了字符串格式化的功能。基本语法是通过 {} 和 : 来代替以前的 % 。format 函数可以接受不限个参数，位置可以不按顺序。>>>"{} {}".format("hello", "world") # 不设置指定位置，按默认顺序'hello world' >>> "{0} {1}".format("hello", "world") # 设置...
2021-02-22 11:41:59
161
原创 大创 02
#!/bin/bash: 指此脚本使用/bin/bash来解释执行。其中，#!是一个特殊的表示符，后面紧跟着解释此脚本的shell路径。bash只是shell的一种，还有很多其它shell，比如：sh,csh,ksh,tcsh等等。$PWD： PWD是环境变量echo ： 用于在 shell 中打印 shell 变量的值，或者直接输出指定的字符串。Linux 的 echo 命令，在 shell 编程中极为常用, 在终端下打印变量 value 的时候也是常常用到的，因此有必要了解下 echo.
2021-02-22 10:33:55
128
原创 【网络爬虫 12】使用 Beautiful Soup
前面介绍了正则表达式的相关用法，但是一旦正则表达式写的有问题，得到的可能就不是我们想要的结果了。而且对于一个网页来说，都有一定的特殊结构和层级关系，而且很多节点都有 id 或 class 来作区分，所以借助它们的结构和属性来提取不也可以吗？这一节中，我们就来介绍一个强大的解析工具 Beautiful Soup，它借助网页的结构和属性等特性来解析网页。有了它，我们不用再去写一些复杂的正则表达式，只需要简单的几条语句，就可以完成网页中某个元素的提取。1. 简介简单来说，Beautiful Soup .
2021-02-09 23:19:13
210
1
原创 【网络爬虫 11】使用 XPath
上一章中，我们实现了一个最基本的爬虫，但提取页面信息时使用的是正则表达式，这还是比较烦琐，而且万一有地方写错了，可能导致匹配失败，所以使用正则表达式提取页面信息多多少少还是有些不方便。对于网页的节点来说，它可以定义 id、class 或其他属性。而且节点之间还有层次关系，在网页中可以通过 XPath 或 CSS 选择器来定位一个或多个节点。那么，在页面解析时，利用 XPath 或 CSS 选择器来提取某个节点，然后再调用相应方法获取它的正文内容或者属性，不就可以提取我们想要的任意信息了吗？在 Pyth.
2021-02-09 22:25:57
298
原创 【网络爬虫 20】文件存储
一.TXT 文本存储本节中，要保存知乎上 “发现” 页面的 “热门话题” 部分，将其问题和答案统一保存成文本形式。注意：因为网页结构换了，所以不适用了首先，可以用 requests 将网页源代码获取下来，然后使用 pyquery 解析库解析，接下来将提取的标题、回答者、回答保存到文本，代码如下：这里主要是为了演示文件保存的方式，因此 requests 异常处理部分在此省去。首先，用 requests 提取知乎的 “发现” 页面，然后将热门话题的问题、回答者、答案全文提取
2021-02-09 21:05:23
139
原创 【网络爬虫 09】requests基本用法
上一节中，了解了 urllib 的基本用法，但是其中确实有不方便的地方，比如处理网页验证和 Cookies 时，需要写 Opener 和 Handler 来处理。为了更加方便地实现这些操作，就有了更为强大的库 requests，有了它，Cookies、登录验证、代理设置等操作都不是事儿。1. 实例引入urllib 库中的 urlopen() 方法实际上是以 GET 方式请求网页，而 requests 中相应的方法就是 get() 方法，是不是感觉表达更明确一些？下面通过实例来看一下：impor.
2021-02-08 22:05:08
3430
原创 【网络爬虫 09】分析 Robots 协议
利用 urllib 的 robotparser 模块，我们可以实现网站 Robots 协议的分析。1. Robots 协议Robots 协议也称作爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫作 robots.txt 的文本文件，一般放在网站的根目录下。当搜索爬虫访问一个站点时，它首先会检查这个站点根目录下是否存在 robots.txt 文件，如果.
2021-02-08 21:14:19
542
原创 【数据分析与挖掘实战】02
第四章 数据预处理4.1 数据清洗4.1.1 缺失值处理拉格朗日插值:有误-未改# 用拉格朗日法进行插补import pandas as pdfrom scipy.interpolate import lagrange # 导入拉格朗日函数import xlwtinputfile = './data/catering_sale.xls' # 销售数据路径outputfile = './sales.xls' # 输出数据路径data = pd.read_excel(inputfi
2021-02-07 17:18:15
311
原创 【数据分析与挖掘实战】01
第三章 数据探索3.1 数据质量分析3.1.1 缺失值分析3.1.2 异常值分析import pandas as pdcatering_sale = '../data/catering_sale.xls' #餐饮数据data = pd.read_excel(catering_sale, index_col = u'日期') #读取数据，指定“日期”列为索引列print(data.describe()) 销量count 200.000000mean
2021-02-07 15:27:10
392
原创 【网络爬虫 08】解析链接
urllib 库里还提供了 parse 这个模块，它定义了处理 URL 的标准接口，例如实现 URL 各部分的抽取、合并以及链接转换。它支持如下协议的 URL 处理：file、ftp、gopher、hdl、http、https、imap、mailto、 mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、 sip、sips、snews、svn、svn+ssh、telnet 和 wais。本节中，我们介绍一下该模块中常用的方法来看一下它的便捷之处。1.urlpars.
2021-02-06 23:22:34
418
原创 【网络爬虫-07】处理异常
前一节了解了请求的发送过程，但是在网络不好的情况下，如果出现了异常，该怎么办呢？这时如果不处理这些异常，程序很可能因报错而终止运行，所以异常处理还是十分有必要的。urllib 的 error 模块定义了由 request 模块产生的异常。如果出现了问题，request 模块便会抛出 error 模块中定义的异常。1.URLErrorURLError 类来自 urllib 库的 error 模块，它继承自 OSError 类，是 error 异常模块的基类，由 request 模块.
2021-02-06 22:35:09
237
原创 【网络爬虫 -06】使用 urllib-发送请求
一.使用 urllib4 个模块request它是最基本的 HTTP 请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样，只需要给库方法传入 URL 以及额外的参数，就可以模拟实现这个过程了。error异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作以保证程序不会意外终止。parse一个工具模块，提供了许多 URL 处理方法，比如拆分、解析、合并等。robotparser主要是用来识别网站的 robots.txt 文件，然
2021-02-06 19:28:12
555
原创 【网络爬虫-03】 请求库的安装
1.Requests 的安装2.Selenium 的安装3.ChromeDriver 的安装注意——配置到环境变量验证chromedriver4.PhantomJS的安装验证phantomjs5.目前安装到mysql，还没安装，已无力吐槽，提前把后面的python包安装上。...
2021-02-05 23:20:03
51
原创 【网络爬虫-02】Anaconda和Pycharm的配合
理解anaconda就是个全家桶，有主食，有各大菜系，不需要再安装一个python。一般数据分析的基本需求可以满足T^T，我这种菜鸡很喜欢用jupyternotebook>3<。当然anconda里还有Spyder，但是没pycharm好看T^Tpycharm是个套餐，但是没有主食，还需要安装python，是一个很高端的菜系，界面很好看，分专业版和社区版，学生认证可以用专业版。而且远程访问服务器用pycharm很方便。作者：和太阳肩并肩链接：https://www.zhihu.co
2021-02-05 22:13:41
339
1
原创 【网络爬虫-01】Anaconda的安装
安装 Anaconda注意之处配置环境变量如果是windows的话需要去 控制面板\系统和安全\系统\高级系统设置\环境变量\用户变量\PATH 中添加 anaconda的安装目录的Scripts文件夹D:\English_Name\Anaconda3\Scripts（上述来自网上，个人尝试失败）成功尝试验证：打开命令行(最好用管理员模式打开) 输入 conda --version管理虚拟环境技巧：之前安装一些python，担心冲突，可采用添加别名
2021-02-05 21:35:15
240
原创 【CH4 CNN】02 normalization.
批标准化在我们正式进入模型的构建和训练之前，我们会先讲一讲数据预处理和批标准化，因为模型训练并不容易，特别是一些非常复杂的模型，并不能非常好的训练得到收敛的结果，所以对数据增加一些预处理，同时使用批标准化能够得到非常好的收敛结果，这也是卷积网络能够训练到非常深的层的一个重要原因。1.数据预处理目前数据预处理最常见的方法就是中心化和标准化，中心化相当于修正数据的中心位置，实现方法非常简单，就是在每个特征维度上减去对应的均值，最后得到0 均值的特征。标准化也非常简单，在数据变成 0 均值之后，为了使
2021-02-04 18:40:10
115
原创 【CH4 CNN】01 conv
卷积模块介绍前面我们介绍了卷积网络的基本知识，其在计算机视觉领域被应用得非常广泛，那么常见的卷机网络中用到的模块能够使用 pytorch非常轻松地实现，下面我们来讲一下 pytorch 中的卷积模块1.卷积层卷积在 pytorch 中有两种方式，一种是 torch.nn.Conv2d()，一种是torch.nn.functional.conv2d()，这两种形式本质都是使用一个卷积操作这两种形式的卷积对于输入的要求都是一样的，首先需要输入是一个 torch.autograd.Variable
2021-02-04 17:38:49
168
原创 【colab】02-切换目录
import ospath = "/content/drive/MyDrive/Face-Sketch-Wild-master/Face-Sketch-Wild"os.chdir(path)os.listdir(path)
2021-02-04 17:20:56
1040
原创 【colab】01-初始化
1.选择运行类型更改运行时类型查看分配到的GPU!/opt/bin/nvidia-smi2.连接Google Drivefrom google.colab import drivedrive.mount('/content/drive/')点击链接连接成功3.配置查看python! python --versionCuda! nvcc --version4.测试pytorch深度学习框架import torchimpor
2021-02-04 16:21:25
569
原创 【GitHub】CH03
1. 创建SSH Key 命令ssh-keygen -t rsa -C "your_email@example.com"Your identification has been saved in /Users/your_user_directory/.ssh/id_rsa.Your public key has been saved in /Users/your_user_directory/.ssh/id_rsa.pub.id_rsa 文件是私有密钥，id_rsa.pub 是公开密钥
2021-02-04 15:32:18
85
原创 【GitHub】CH01/02
1.GitHub与Git的区别和联系区别：Git，开发者将源代码存入"Git仓库"的资料库中；GitHub是在网络上提供Git仓库的一项服务联系：GitHub上公开的软件源码是由Git管理2.Git安装网址：msysGit下载：IDM下载初始设置首先来设置使用Git 时的姓名和邮箱地址。名字请用英文输入。$ git config --global user.name "Firstname Lastname"$ git config --global
2021-02-04 13:05:17
70
QuickLook-2020-软件压缩包（全）（48.1M）
2021-02-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人