python
洪流之源
这个作者很懒,什么都没留下…
展开
-
MNS(非极大值抑制)python实现
理论参考:https://blog.csdn.net/a1103688841/article/details/89711120源码:import numpy as np def py_cpu_nms(dets, thresh): # 单独获取各个参数,以下参数shape = (5,) x1 = dets[:,0] y1 = dets[:,1] x2 = dets[:,2] y2 = dets[:,3] scores = dets[:原创 2020-12-02 19:43:45 · 559 阅读 · 2 评论 -
成功解决AttributeError: 'str' object has no attribute 'decode'
解决问题AttributeError: 'str' object has no attribute 'decode'解决思路根据问题提示,意思是,属性错误:“str”对象没有属性“decode”python3.5和Python2.7在套接字返回值解码上的区别python在bytes和str两种类型转换,所需要的函数依次是encode(),decode()解决方法直接去掉deco...转载 2020-01-06 11:21:58 · 52076 阅读 · 0 评论 -
Python3.5.2的pip3升级教程(解决:ImportError: cannot import name 'main')
Python3的包管理器为pip3。在安装第三方库时,往往由于pip3的版本需要升级导致安装失败,报错提示如:You are using pip version 8.1.1, however version 10.0.1 is available. You should consider upgrading via the 'pip install --upgrade pip' install...转载 2019-12-26 17:16:01 · 1293 阅读 · 0 评论 -
requirements.txt 简单使用
在虚拟环境下操作1. 获取当前python虚拟环境中的依赖包清单到requirements.txt文件中pip freeze > requirements.txt2.在线安装requirements.txt文件中的依赖包pip install -r requirements.txt3.下载requirements.txt中的依赖包到本地pip download -d ...原创 2019-12-08 14:55:12 · 1186 阅读 · 0 评论 -
python logging模块代码示例:实现日志输出到控制台, 并且写入日志文件中
import loggingclass Logger(object): def __init__(self, log_file_name, log_level, logger_name): #创建一个logger self.__logger = logging.getLogger(logger_name) #指定日志的最低输出级别,...原创 2018-06-07 17:53:56 · 6705 阅读 · 0 评论 -
python的logging日志模块
最近修改了项目里的logging相关功能,用到了python标准库里的logging模块,在此做一些记录。主要是从官方文档和stackoverflow上查询到的一些内容。官方文档技术博客基本用法下面的代码展示了logging最基本的用法。# -*- coding: utf-8 -*-import loggingimport sys# 获取logger实例,如果参数为空则返回root lo...转载 2018-06-07 17:00:58 · 199 阅读 · 0 评论 -
使用BeautifuSoup4的爬虫
我们以腾讯社招页面来做演示:http://hr.tencent.com/position.php?&start=10#a使用BeautifuSoup4解析器,将招聘网页上的职位名称、职位类别、招聘人数、工作地点、发布时间,以及每个职位详情的点击链接存储出来。from bs4 import BeautifulSoupimport urllib.requestimport json ...原创 2018-05-24 09:15:08 · 290 阅读 · 0 评论 -
Python-第三方库requests详解
强烈推荐!requests官方文档已有了中文版,请见http://cn.python-requests.org/zh_CN/latest/ 。requests是python的一个HTTP客户端库,跟urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的:python的标准库urllib2提供了大部分需要的HTTP功能,但是API太逆天了,一个简...转载 2018-06-04 09:50:44 · 380 阅读 · 0 评论 -
Python 正则表达式笔记(4)原始字符串
>>> mm = "c:\\a\\b\\c">>> mm'c:\\a\\b\\c'>>> print(mm)c:\a\b\c>>> print(mm)c:\a\b\c>>> re.match("c:\\\\",mm).group()'c:\\'原创 2018-05-05 11:23:01 · 1243 阅读 · 0 评论 -
Python 正则表达式笔记(3)多字符匹配
匹配多个字符的相关格式字符功能*匹配前一个字符出现0次或者无限次,即可有可无+匹配前一个字符出现1次或者无限次,即至少有1次?匹配前一个字符出现1次或者0次,即要么有1次,要么没有{m}匹配前一个字符出现m次{m,}匹配前一个字符至少出现m次{m,n}匹配前一个字符出现从m到n次示例1:*需求:匹配出,一个字符串第一个字母为大小字符,后面都是小写字母并且这些小写字母可有可无#coding=utf-...原创 2018-05-05 11:11:42 · 4291 阅读 · 0 评论 -
Python 正则表达式笔记(2)单字符匹配
正则表达式的单字符匹配字符功能.匹配任意1个字符(除了\n)[ ]匹配[ ]中列举的字符\d匹配任意1个数字,即0-9\D匹配任意1个非数字,即不是数字\s匹配任意1个空白,即 空格,tab键\S匹配任意1个非空白\w匹配任意1个单词字符,即a-z、A-Z、0-9、_\W匹配任意1个非单词字符示例1: . #coding=utf-8 import re ret = re....原创 2018-05-04 16:49:30 · 171 阅读 · 0 评论 -
Python 正则表达式笔记(1)re模块
正则表达式概述正则表达式,又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法(英语:Regular Expression,在代码中常简写为regex、regexp或RE),是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器里,正则表达式通常被用来检索、替换那些匹配某个模式的文本。Regular Expression的“Regul...原创 2018-05-04 15:52:41 · 355 阅读 · 0 评论 -
UnicodeEncodeError: ‘gbk’ codec can’t encode character u’\uXXXX’ in position XX
对于此类问题:(1)出现UnicodeEncodeError –> 说明是Unicode编码时候的问题;(2) ‘gbk’ codec can’t encode character –> 说明是将Unicode字符编码为GBK时候出现的问题;此时,往往最大的可能就是,本身Unicode类型的字符中,包含了一些无法转换为GBK编码的一些字符。解决办法是:方案1:在对unicode字符编码...转载 2018-06-08 15:45:48 · 4677 阅读 · 0 评论 -
解决pandas读取csv文件出现乱码问题
爬虫爬取的数据保存为csv文件,通过pandas读取csv文件中的数据并通过print打印出来。 data = pd.read_csv('sample.csv')上面的代码执行后,出现如下错误:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb3 in position 0: invalid start byte搜索了...原创 2018-07-31 17:20:45 · 23885 阅读 · 8 评论 -
pip错误 ImportError: No module named _internal
pip错误 ImportError: No module named _internalTraceback (most recent call last):File "/home/ubuntu/.local/bin/pip", line 7, in <module> from pip._internal import main ImportError: No modul...转载 2019-07-24 15:24:34 · 1468 阅读 · 0 评论 -
梯度下降法解决简单线性回归问题
如下数据保存在data.csv文件中,由一元线性回归模型y = 1.477 ∗ x + 0.089 + ε(ε为随机噪声)生成,第一列为x,第二列为y。data.csv32.502345269453031,31.7070058465699253.426804033275019,68.7775959816389161.530358025636438,62.562382297945803...原创 2019-06-02 20:58:10 · 867 阅读 · 0 评论 -
黏包
https://blog.csdn.net/qq_25171075/article/details/81668161转载 2019-05-11 16:15:02 · 150 阅读 · 0 评论 -
Python中的进程与multiprocessing模块(包)
https://blog.csdn.net/qq_25171075/article/details/81871537转载 2019-05-11 16:14:09 · 264 阅读 · 0 评论 -
python调用c++接口传递opencv格式图像
关于python调用c++接口的方法,网上有好多例子,不在赘述了。文件结构如下:直接上代码:opencvcall.cpp#include <opencv2/opencv.hpp>using namespace cv;extern "C"{ void test(int height, int width, uchar* frame_data) ...原创 2019-04-26 10:21:06 · 5419 阅读 · 4 评论 -
PYTHON多模块文件共享变量
首先,有5个Python文件,共享变量x存在glovar.py里面,需要在任意模块都能更改,更改后任意模块获取到的值都相同,这就是多模块文件共享一个变量。#5个文件的路径c:\test\main.pyc:\test\show.pyc:\test\test.pyc:\test\common\__init__.py #空文件c:\test\common\glovar.pyc:\tes...转载 2019-04-03 10:23:59 · 13960 阅读 · 4 评论 -
python 创建虚拟环境博客链接
python虚拟环境:https://www.cnblogs.com/technologylife/p/6635631.htmlPipenv & 虚拟环境:https://pythonguidecn.readthedocs.io/zh/latest/dev/virtualenvs.htmlAnaconda创建、激活、退出、删除虚拟环境:https://blog.csdn.net/s...转载 2019-04-08 14:41:03 · 201 阅读 · 0 评论 -
pycharm创建虚拟环境及具体(意义)说明
https://blog.csdn.net/weixin_43256057/article/details/84236429转载 2019-04-08 14:04:41 · 1429 阅读 · 0 评论 -
python paramiko模块
https://blog.csdn.net/weixin_42668123/article/details/82686386https://www.cnblogs.com/rainowl-ymj/p/7247287.htmlhttps://blog.csdn.net/u010693827/article/details/82219286https://www.cnblogs.com/d...转载 2019-03-22 20:04:59 · 179 阅读 · 0 评论 -
Python网络爬虫笔记(10)Cookie
Cookie 是指某些网站服务器为了辨别用户身份和进行Session跟踪,而储存在用户浏览器上的文本文件,Cookie可以保持登录信息到用户下次与服务器的会话。Cookie原理HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制 Cookie是http消息头中的一种属性,包括:Cookie名字(Name)Cookie的值(Value)Cookie的过期时间(Expir...原创 2018-04-25 10:20:41 · 408 阅读 · 0 评论 -
Matplotlib可视化(2)设置pyplot的rcParams
pylot使用rc配置文件来自定义图形的各种默认属性,称之为rc配置或rc参数。通过rc参数可以修改默认的属性,包括窗体大小、每英寸的点数、线条宽度、颜色、样式、坐标轴、坐标和网络属性、文本、字体等。rc参数存储在字典变量中,通过字典的方式进行访问,如下代码:import numpy as npimport matplotlib.pyplot as plt#生成数据x = np.linsp...原创 2018-05-09 11:25:30 · 4944 阅读 · 0 评论 -
Matplotlib可视化(1)绘图基础
使用Matplotlib中的pylot模块绘图较为广泛,大部分的pylot图形绘制都遵循一个流程,使用这个流程可以完成大部分图形的绘制:1.创建画布与创建子图;2.添加画布内容,包括添加标题、坐标轴名称、坐标轴的范围、坐标轴的刻度、图形图例等3.保存与显示图形。示例:import numpy as npimport matplotlib.pyplot as pltrad = np.arang...原创 2018-05-09 11:03:41 · 570 阅读 · 0 评论 -
scrapy框架系列 (4) Scrapy Shell
Scrapy ShellScrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据。 如果安装了 IPython ,Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性。(推荐安装IP...原创 2018-03-03 11:02:34 · 412 阅读 · 0 评论 -
scrapy框架系列 (2) 一个简单案例
学习目标创建一个Scrapy项目定义提取的结构化数据(Item)编写爬取网站的 Spider 并提取出结构化数据(Item)编写 Item Pipelines 来存储提取到的Item(即结构化数据)一. 新建项目(scrapy startproject)在开始爬取之前,必须创建一个新的Scrapy项目。进入自定义的项目目录中,运行下列命令:scrapy startproject mySpider...原创 2018-03-03 09:35:19 · 762 阅读 · 1 评论 -
scrapy框架系列 (1) 初识scrapy
Scrapy 框架Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各...原创 2018-03-03 09:29:59 · 288 阅读 · 0 评论 -
Python 大神
https://cuiqingcai.com/about大数据视频课程汇总http://blog.csdn.net/sjh752422969/article/details/69839153原创 2018-03-02 14:04:57 · 970 阅读 · 0 评论 -
二十三种设计模式及其python实现
本文为博客转载:https://www.cnblogs.com/Liqiongyu/p/5916710.html设计模式是什么?创建型1.Factory Method(工厂方法)2. Abstract Factory(抽象工厂)3. Builder(建造者)4. Prototype(原型)5. Singleton(单例) 结构型6. Adapte...原创 2018-01-19 16:27:14 · 12827 阅读 · 1 评论 -
python可视化分析------折线图、散点图
通过python的matplotlib模块绘制折线图:1.设置标题,以及x轴、y轴的标签;2.设置x轴、y轴的范围;3.在同一个折线图中绘制2条折线;注意:同一条折线,x轴与y轴的数据维度要一致,否则会报错。import matplotlib.pylab as pylx1 = [1, 2, 3, 4, 8]y1 = [5, 7, 1, 5, 2]x2 = [1,原创 2018-01-10 15:20:42 · 4906 阅读 · 0 评论 -
pandas (3) Index对象
import numpy as npimport pandas as pdfrom pandas import Series, DataFrame#1.pandas的索引对象负责管理轴标签和轴名称等.构建Series或DataFrame时,所用到的任何数组或其他序列的标签都会被转换成一个Index对象.#Series和DataFrame中的索引都是Index对象.obj = Serie原创 2018-01-26 16:57:11 · 564 阅读 · 0 评论 -
pandas (2) DataFrame数据结构
import numpy as npimport pandas as pdfrom pandas import DataFrame# DataFrame是一个表格型数据结构,它含有一组有序的列,每列可以是不同的值类型(数值,字符串,布尔值等),# DataFrame既有行索引又有列索引,它可以被看做由Series组成的字典#1.可以通过直接传入一个由等长的列表或Numpy数组组成的字原创 2018-01-26 15:37:03 · 653 阅读 · 0 评论 -
pandas (1) Series数据结构
import numpy as npimport pandas as pdfrom pandas import Series#1.创建一个有默认索引的Series,Series是一种类似与一维数组的对象,# 它由一组数据(各种Numpy数据类型)以及一组与之相关的数据标签(即索引)组成obj = Series([4, 7, -5, 3])print(obj)#2.通过Series原创 2018-01-26 10:04:41 · 282 阅读 · 0 评论 -
numpy (1) ndarray
import numpy as np#python 列表list = [1, 2, 3]print(list)print(type(list))#将列表转换为ndarraya = np.array(list)print(a)print(type(a))#直接修改ndarray的值a[0] = 5a[1] = 4a[2] = 9print(a)#二维的ndarra原创 2018-01-24 16:22:22 · 291 阅读 · 0 评论 -
scrapy框架系列 (5) Spider类
SpiderSpider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说,Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。class scrapy.Spider是最基本的类,所有编写的爬虫必须继承这个类。主要用到的函数及调用顺序为:__init__() : 初始化爬虫名字和start_...原创 2018-03-03 11:06:48 · 612 阅读 · 0 评论 -
Python网络爬虫笔记(6)GET请求和POST请求
urllib.urlencode()urllib 和 urllib2 都是接受URL请求的相关模块,但是提供了不同的功能。两个最显著的不同如下:urllib 仅可以接受URL,不能创建 设置了headers 的Request 类实例;但是 urllib 提供 urlencode 方法用来GET查询字符串的产生,而 urllib2 则没有。(这是 urllib 和 urllib2 经常一起使用的主要...原创 2018-04-17 08:58:34 · 410 阅读 · 0 评论 -
Python网络爬虫笔记(7)处理HTTPS请求 SSL证书验证
现在随处可见 https 开头的网站,urllib2可以为 HTTPS 请求验证SSL证书,就像web浏览器一样,如果网站的SSL证书是经过CA认证的,则能够正常访问,如:https://www.baidu.com/等...如果SSL证书验证不通过,或者操作系统不信任服务器的安全证书,比如浏览器在访问12306网站如:https://www.12306.cn/mormhweb/的时候,会警告用户证...原创 2018-04-17 09:43:19 · 6447 阅读 · 0 评论 -
Python网络爬虫笔记(10)密码管理类 HTTPPasswordMgrWithDefaultRealm
HTTPPasswordMgrWithDefaultRealm()类将创建一个密码管理对象,用来保存 HTTP 请求相关的用户名和密码,主要应用两个场景:验证代理授权的用户名和密码 (ProxyBasicAuthHandler())验证Web客户端的的用户名和密码 (HTTPBasicAuthHandler())ProxyBasicAuthHandler(代理授权验证)如果我们使用之前的代码来使用...原创 2018-04-24 16:37:51 · 3805 阅读 · 0 评论