Python 3.0
文章平均质量分 86
admin_maxin
博士僧小星
985博士研究生
展开
-
网络爬虫 | 京东全站数据采集(类目、店铺、商品、评论)——基于Python中Scrapy框架
123原创 2020-05-11 18:12:53 · 2507 阅读 · 16 评论 -
python3__深度学习:卷积神经网络(CNN)__构成/原理/正向与反向传播
1.CNN的基本构成一个CNN包含一个输入层、一个卷积层、一个输出层,但是在真正使用的时候一般会使用多层卷积神经网络不断的提取特征,特征越抽象,越有利于识别(分类)。CNN一般包括以下几个部分:输入层:数据输入卷积层:使用给定核函数对输入数据进行特征提取,并依据核函数的数据产生若干个卷积特征结果池化层:数据降维,减少数据特征全连接层:对已有数据特征进行重新提取并输出结果(对图...原创 2019-02-21 11:33:14 · 2228 阅读 · 0 评论 -
python3_python的内存回收机制__动态类型 / 可变数据类型 / 引用计数 / 引用减少 / 垃圾回收 / 分代回收 / 孤立的引用环
1.动态类型1. 对象是存储在内存中的实体。但我们并不能直接接触到该对象。2. 引用与对象分离是动态类型的核心。(一)不可变数据类型:# --------------------引例1a = 1b = aa = a + 2print(a, b)OUTPUT:--> 3 1# --------------------引例2lt = [1, 2, 3...原创 2018-08-13 17:10:07 · 1121 阅读 · 2 评论 -
python3__深度学习:卷积神经网络(CNN)__LeNet5:支票高效手写数字体识别
1.LeNet5基本概念在计算机视觉中卷积神经网络取得了巨大的成功,在工业上以及商业上的应用非常多,一种商业上最典型的应用就是识别支票上的手写数字的LeNet5神经网络。LeNet5 这个网络虽然很小,但是它包含了深度学习的基本模块:卷积层,池化层,全链接层,是其他深度学习模型的基础。2.各层参数详解LeNet-5共有7层,不包含输入,每层都包含可训练参数;每个层有多个特征映射,...原创 2019-02-22 10:00:51 · 1400 阅读 · 0 评论 -
python3__绘图__常用数据分析图形(热力图,雷达图,箱线图,平行坐标,3D图,混淆矩阵,饼状图)
1.matplotlib.pyplot简介matplotlib.pyplot是一个有命令风格的函数集合,它看起来和MATLAB很相似。每一个pyplot函数都使一副图像做出些许改变,例如创建一幅图,在图中创建一个绘图区域,在绘图区域中添加一条线等等。在matplotlib.pyplot中,各种状态通过函数调用保存起来,以便于可以随时跟踪像当前图像和绘图区域这样的东西。绘图函数是直接作用于当前...原创 2018-12-10 17:39:40 · 7842 阅读 · 5 评论 -
编程语言|Python——为什么0.1+0.2≠0.3(深入理解Python中的浮点数运算)
在python中可以采用采用round()函数,对数据进行处理。round()函数的格式:round(x, d), 其中x表示需要被处理的数据,d表示要返回的小数位数,即round(x, d)代表返回参数x的四舍五入的有 d 位小数的一个数字。d=0表示取整,d=1表示要返回一位小数,以此类推。此外,round()会自动四舍五入。原创 2024-08-01 10:51:42 · 1008 阅读 · 1 评论 -
人工智能|机器学习——Aho-Corasic多模匹配算法的学习、理解和应用(Python)
2.1 Aho-Corasick算法的定义Aho-Corasick(简称为AC自动机),是一种基于前缀的,使用了确定有限自动机(DFA)原理的,字符串多模匹配算法。什么是DFA?DFA也就是确定有限自动机,英文全称是Deterministic Finite Automaton。具体的细节介绍,可以参照百度百科、维基百科,以及《算法导论》之类的算法书。在这里,我们尝试用通俗的语言和图示来解释一遍。首先,什么是自动机(A)。自动机就是一个代码块。这段代码块只做一件事,那就是接收输入值和状态值输出。原创 2024-07-28 10:56:51 · 716 阅读 · 0 评论 -
人工智能|编程语言——基于python的网络爬虫爬取天气数据及可视化分析(Matplotlib、sklearn等)
在文中,我们旨在利用爬取的历史天气数据进行可视化分析。首先,我们选择了一个可靠的数据源,并使用Python编程语言和BeautifulSoup库实现了数据的爬取。接着,我们对原始数据进行了清洗和处理,包括缺失值的处理和数据格式转换。然后,我们采用了Matplotlib可视化工具,设计了多种图表类型,如折线图、柱状图和热力图,以展示历史天气数据的趋势和变化。通过分析结果,我们发现了不同时间段内温度、天气状况等指标的变化情况,并与历史数据进行了比较。原创 2024-05-16 12:12:27 · 1006 阅读 · 0 评论 -
人工智能|深度学习——基于Xception算法模型实现一个图像分类识别系统
在计算机视觉领域,图像识别是一个非常重要的任务,其应用涵盖了人脸识别、物体检测、场景理解等众多领域。随着深度学习技术的发展,深度卷积神经网络(Convolutional Neural Networks,简称CNN)在图像识别任务上取得了巨大成功,其中Xception算法作为一种改进型CNN,被广泛应用于图像分类和特征提取任务。本章节将重点介绍Xception算法的背景、原理及其在图像识别系统中的应用。原创 2024-04-02 23:03:05 · 1526 阅读 · 1 评论 -
科研学习|研究方法——python T检验
科研学习|研究方法——python T检验原创 2023-11-16 22:31:22 · 638 阅读 · 0 评论 -
科研学习|研究方法——Python计量Logit模型
python实现logit回归原创 2023-11-15 21:16:42 · 1544 阅读 · 0 评论 -
科研学习|研究方法——解决Python 逻辑回归中使用哑变量的具体操作步骤
科研学习|研究方法——解决Python 逻辑回归中使用哑变量的具体操作步骤原创 2023-11-15 11:55:31 · 543 阅读 · 0 评论 -
科研学习|研究方法——逻辑回归系数的显著性检验(python实现)
科研学习|研究方法——逻辑回归系数的显著性检验(python实现)原创 2023-11-14 10:47:48 · 1642 阅读 · 0 评论 -
python3__进程__分布式进程
1.task_mater.py在Thread和Process中,应当优选Process,因为Process更稳定,而且,Process可以分布到多台机器上,而Thread最多只能分布到同一台机器的多个CPU上。Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者,将任务分布到其他多个进程中,依靠网络通信。由于managers模块封装很好,不必了解网络通信的细节,就可以很容易地编写分布式多进程程序。举个例原创 2020-06-29 18:04:48 · 286 阅读 · 0 评论 -
python3__零散问题处理
目录1.dataframe中可迭代元素因长度不同修改时报错的问题1.dataframe中可迭代元素因长度不同修改时报错的问题原始代码:将商品标题对应特征词列表转换为向量并重新赋值 for i in range(itemsData.shape[0]): words = itemsData["name"][i].split(" ") tmp1 = np.zeros(w2c.wv.vector_size) for word in word原创 2020-06-09 16:33:01 · 371 阅读 · 0 评论 -
python3_anaconda包管理工具使用(命令行)_详解
以下所有命令均在Anaconda Prompt命令行运行:<一>管理anaconda1.conda --version:查看anaconda版本2.conda update conda:升级anaconda<二>管理环境1.conda create --name snowflake biopython:给Biopython创建一新环境,位于...原创 2020-02-17 17:14:20 · 556 阅读 · 0 评论 -
python3__面向对象__类的起源(type)
1.一切皆对象python中有一个重要的概念那就是一切皆对象;一切都可以赋值给变量(引用)。①内置类型赋值②将类类型赋值给变量③将函数赋值给变量④将自定义类赋值给变量class Foo(object): def __init__(self, name): self.name = nameif "__main__" == __name__:...原创 2018-11-13 11:35:56 · 330 阅读 · 0 评论 -
python3__深度学习:计算机视觉__Gamma变换
【参考资料】https://blog.csdn.net/lichengyu/article/details/8457425 http://www.jb51.net/article/137566.htm1.什么是Gamma变换Gamma变换是对输入图像灰度值进行的非线性操作,使输出图像灰度值与输入图像灰度值呈指数关系:这个指数即为Gamma。...转载 2018-12-17 18:39:31 · 1331 阅读 · 0 评论 -
python3__标准库__sys模块
1.sys模块源代码# encoding: utf-8# module sys# from (built-in)# by generator 1.145"""This module provides access to some objects used or maintained by theinterpreter and to functions that interact ...原创 2018-09-20 21:17:25 · 1062 阅读 · 0 评论 -
python3__深度学习:计算机视觉__OpenCV的安装\使用\常见问题处理(旋转后图像黑边的去除未完成)
1.OpenCV库的安装与使用OpenCV全称为Open Source Computer Vision Library,是Intel公司支持开发的计算机视觉处理开源软件库,采用C或C++编写,同样提供了Python、MATLAB等语言的接口,可以自由的与醒来linux、Windows、Mac等多平台操作系统中。其充分利用了Intel处理器的高性能多媒体函数库的手工优化性能,提高了运行速度。其...原创 2018-12-16 10:21:17 · 927 阅读 · 0 评论 -
python3_GUI编程
1.python提供了多个图形开发界面库tkinter(import tkinter) : Tkinter 模块(Tk 接口)是 Python 的标准 Tk GUI 工具包的接口wxPython(import wx) : wxPython 是一款开源软件,是 Python 语言的一套优秀的 GUI 图形库Jytyhon(import sys sys.path.append(a.jar)...原创 2018-12-13 09:27:30 · 714 阅读 · 0 评论 -
python3__面向对象__静态方法 / 类方法 / 属性方法 / 实例动态绑定属性和方法 / 类动态绑定属性和方法
0.普通方法普通方法访问类属性:self.__class__.类属性名称class Test(object): n = 123 def __init__(self, n): self.n = n def tell(self): # 调用类变量 print("类n: %s" % self.__...原创 2018-11-01 13:35:35 · 768 阅读 · 0 评论 -
python3__面向对象__类的内置属性与方法
0.object类源码class object: """ The most base type """ def __delattr__(self, *args, **kwargs): # real signature unknown """ Implement delattr(self, name). """ pass def原创 2018-11-09 11:39:16 · 446 阅读 · 0 评论 -
python3__多线程__threading、_thread、Queue
1.多线程多线程类似于同时执行多个不同程序,多线程运行有如下优点:①可将占据时间长的程序中的任务放到后台去处理②用户界面更加吸引人,如:用户点击某按钮并触发事件,可弹出进度条显示处理的进度③在一些等待的任务实现上如用户输入、文件读写和网络收发数据等,线程就有了用武之地。在此种情况下可释放一些珍贵的资源如内存占用等。2._thread模块_thread模块提供了低级别的...原创 2018-12-12 23:01:41 · 883 阅读 · 0 评论 -
python3__异常、调试、单元测试、文档测试
1.异常1.1.异常处理python内置了一套try...except...else...finally...的错误处理机制。①当认为某个代码块可能出错,可通过try来运行此段代码,若出错则跳转到except语句块,执行完except之后,若有finally语句块则执行finally语句块,至此,执行完毕。此外,except之后可以加一个else,当没有错误发生时,会自动执行else...原创 2018-11-15 12:18:35 · 377 阅读 · 0 评论 -
python3__机器学习__神经网络基础算法__最小二乘法(LS算法)
1.LS算法说明LS算法是一种数学优化技术,也是一种机器学习常用算法。他通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便的求得未知的数据(1),并使得这些求得的数据与实际数据之间误差的平方和最小。除此之外最小二乘法还可用于曲线拟合(2),其他一些优化问题(3)也可通过最小化鞥能量或最大化熵用最小二乘法表示。2.LS算法原理最小二乘法实际上解决的是当Ax=C无解...原创 2018-12-28 15:48:39 · 1770 阅读 · 0 评论 -
python3__深度学习:计算机视觉__仿射变换
1.模型变换的基本形式模型变换是指根据待匹配图像与背景图像之间几何畸变的情况,所选择的能最佳拟合两幅图像之间变化的几何变换模型。可采用的变换模型有如下几种:刚性变换、仿射变换、透视变换和非线形变换等,如下图:2.仿射变换仿射变换(Affine Transformation)是一种二维坐标到二维坐标之间的线性变换,保持二维图形的“平直性”(直线亦直线,圆弧亦圆弧)和“平行性”(...原创 2018-12-17 21:18:37 · 1119 阅读 · 0 评论 -
python3_scrapy_Scrapy类方法及属性剖析
scrapy包Scrapy类方法及属性剖析"""Base class for Scrapy spidersSee documentation in docs/topics/spiders.rst"""import loggingimport warningsfrom scrapy import signalsfrom scrapy.http import Requestfrom...原创 2018-04-17 22:06:34 · 1040 阅读 · 0 评论 -
python3__机器学习__朴素贝叶斯分类
1.概述贝叶斯分类是机器学习分类算法中的一类,此类算法的理论依据为“贝叶斯定理”和“特征条件独立”,而朴素贝叶斯分类(Naive Bayes Classifier, NBC)是贝叶斯分类中最简单的一种,也是常见的一种分类方法。优点:其相比于决策树分类有着坚实的数学基础以及稳定的分类效率(对不同类型数据集不会呈现出太大的差异),同时NBC所需估计的参数较少,对缺失数据不敏感,算法简单,理论...原创 2019-07-08 16:45:57 · 296 阅读 · 0 评论 -
python3__Scipy__积分/最小二乘/图像变换
SciPy是numpy库基础之上增加了众多的数学、科学以及工程计算中常用函数的库。SciPy库依赖于numpy,提供了便捷且快速的n维数组操作。SciPy库的构建与numpy数组一起工作,并提供了许多友好和高效的处理方法。包括:统计、优化、整合以及线性代数模块、傅里叶变换、信号和图像图例,常微分方差的求解等,功能十分强大。1.积分计算定积分:函数形式 :scipy函数接口 :...原创 2019-06-01 17:22:41 · 346 阅读 · 0 评论 -
python3__pandas__预处理常用操作
1.pandas预处理的常用操作链接的文章已经讲解的相对比较清楚了,包括:(1)缺失值处理:dropna(),fillna()(2)离散化:cut(),qcut()(3)分组聚合:groupby()(4)数据透视表:pivot_table()(5)排序:sort_values()https://blog.csdn.net/OYY_90/article/details/...原创 2019-05-29 14:08:28 · 217 阅读 · 0 评论 -
python3__深度学习__TensorFlow__模型的保存与恢复/tensorboard可视化
0.概要通常情况下,我们需要使用训练好的模型来预测或者分类现有数据;但存在一个问题,即每次应用模型的时候都需要重新训练模型,这种方式将会极大提高模型训练成本,因此,需要通过tensorflow深度学习框架对训练完毕的模型进行存储。1.粗粒度的模型保存与恢复1.1 单次模型的保存与恢复1.1.1 存储save_path = "..."saver = tf.train.Sa...原创 2019-04-19 15:56:08 · 768 阅读 · 0 评论 -
python3__深度学习__卷积神经网络(CNN):VGGNet / Finetuning
VGGNet是于ICLR 2015(International Conference on Learning Representations, 2015)上展示的一种新的卷积神经网络,在ImageNet上达到了非常高的辨识率,且能够在以DCNN(Deep Convolutional Network, 深度卷积神经网络)为基础的工程上达到很好的效果,可以广泛的在其后使用Fine-tuning(微调...原创 2019-04-21 20:49:52 · 467 阅读 · 0 评论 -
python3__深度学习/机器学习__图像识别:OpenCV之级联分类器CascadeClassifier
1.理论说明Haar-like矩形特征是用于物体检测的数字图像特征。这类矩形特征模板由两个或多个全等的黑白矩形相邻组合而成,而矩形特征值是白色矩形的灰度值的和减去黑色矩形的灰度值的和,矩形特征对一些简单的图形结构,如线段、边缘比较敏感。如果把这样的矩形放在一个非人脸区域,那么计算出的特征值应该和人脸特征值不一样,所以这些矩形就是为了把人脸特征量化,以区分人脸和非人脸。以Haar特征分类器...原创 2019-02-19 09:51:32 · 1286 阅读 · 3 评论 -
python3__深度学习:TensorFlow__常用基本概念和函数
1.转载博客https://blog.csdn.net/lenbow/article/details/52152766该博客内容相对来说十分的全面,但随着TensorFlow版本的提高,有的函数发生了修改,或者添加了一些函数,特在下边进行说明。2.补充函数tensorflow.stack(values, axis=0, name="stack")沿某个轴,将rank-R的...原创 2019-01-02 14:34:26 · 316 阅读 · 0 评论 -
python3__深度学习:TensorFlow__数据的生成与读取(主要针对图像处理)
1.CSV文件(提供图像地址和标签)1.1 创建import ospath = "pic"filenames = os.listdir(path=path)strText = ""with open(file="train_list.csv", mode="w") as fid: for a in range(len(filenames)): # 获...原创 2019-01-05 20:09:36 · 1169 阅读 · 0 评论 -
python3__标准库__random模块
1.random模块源代码"""Random variable generators.随机变量生成器 integers -------- uniform within range sequences --------- pick random element # 选择随机元素 ...原创 2018-09-20 16:31:49 · 6622 阅读 · 0 评论 -
python3__标准库__hashlib模块__摘要算法防篡改
1.hashlib基础知识点(1)hashlib提供了常用的摘要算法:SHA1, SHA224, SHA256, SHA384, SHA512, MD5。(2)摘要算法:摘要算法又称为哈希算法、散列算法。他通过一个函数,把任意长度的数据转换成一个固定长度的数据串,通常来说是16进制的字符串来进行表示。(3)摘要算法的目的:通过f()将任意长度data转换成固定长度digest,为了发...原创 2018-09-25 09:33:56 · 720 阅读 · 0 评论 -
python3_from...import... 与 import ...之间的区别 __ 包 / 模块
【以下说明以tkinter模块为例进行说明】【下图为安装后在python解释器路径下lib(库)文件夹下的tkinter文件夹下的内容】1.import ...【语法】import tkinter【说明】(1)引用包 import引入的是包中根目录下__init__.py中的全部内容,包括其中的类、类内部的公有属性、类内部的公有方法、方法等内...原创 2018-05-09 22:40:00 · 9886 阅读 · 1 评论 -
python3_标准库_re正则表达式匹配规则/匹配模式/模块函数/常见面试题
1.定义 正则表达式是一个特殊的字符序列,能方便的检查一个字符串是否与某种模式匹配。re模块使得python拥有全部的正则表达式功能。2.re.match(pattern, string, flags=0)函数尝试从一个字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,则返回None。pattern: 待匹配的正则表达式string: 待查找的字符...原创 2018-05-08 11:36:12 · 1659 阅读 · 0 评论