Python
文章平均质量分 59
Python伊甸园
这个作者很懒,什么都没留下…
展开
-
spyder使用opencv打开图像卡死该怎么办?
有时候有些电脑通过spyder打开opencv时,整个python就卡死了,无法打开,该怎么办呢?解决方法:检查自己的电脑的图片设置:按照以下 1-2-3-4-5的步骤进行设置。最后重启即可通过spyder显示opencv中的图片。也可尝试下面方法:增加以下代码:表示打开图片等待,直到后续有操作才会关闭图像显示窗口。只需要在所有代码最后增加即可。#0:表示任意键关闭;具体数字,表示毫秒cv2.waitKey(10000)cv2.destr...原创 2021-10-30 15:49:51 · 2519 阅读 · 0 评论 -
如何使用清华镜像源加速下载python库?
经常会遇到这样一个问题,在anaconda里面下载某些库,可能速度会很慢,那该怎么加速下载这些库呢? 出现这个问题的主要原因是:因为这些库所对应的服务器都在国外,所以下载速度有时候就会非常不好。 解决:利用清华镜像源。 可以这么理解:清华镜像源就是把国外服务器上的库都给复制了一份,存储到国内的服务器上,库的内容是完全一模一样的,后续在conda环境中下载的时候只要设置优先使用清华镜像源就行了,可以优先从国内服务器下载我们想要的各种库。...原创 2021-10-27 22:10:24 · 9740 阅读 · 1 评论 -
如何匹配Python库的版本?
在工作中,有可能遇到这样一个问题:我前天安装的某个库还能用,今天怎么就不能用了呢?原因很可能是这样的:某些库的依赖包版本冲突了。假设A库依赖a包版本1.1版本,B库依赖a包的1.0版本。我们在前天安装了A库,且能正常使用,此时a包为1.1版本。但是在今天我们安装了B库,它的依赖a包为1.0版本,所以必定导致a包的版本降低。此时,B包可以正常使用,但是A包优与依赖的a包版本降低导致无法使用。解决方法:去找是哪些依赖的版本不匹配了,把他们给匹配好。 我们举个例子...原创 2021-10-08 18:40:05 · 4030 阅读 · 2 评论 -
装饰器@property的介绍与使用
在写python代码的时候,有时候我们会碰到装饰器@property,那这个装饰器起到什么作用呢?我们直接举实际例子来说: 定义一个Test的类,分别定义一个带有装饰器@property的方法,一个不含装饰器@property的方法。 通过方法调用我们可以发现:<1>带有装饰器@property的方法:当调用该方法时,后面不需要加圆括号【()】。<2>不带装饰器@property的方法:当调用该方法时,后面必须加圆...原创 2021-09-25 17:16:12 · 4063 阅读 · 1 评论 -
anaconda创建虚拟环境并安装spyder
一、创建虚拟环境创建一个名为tt1的虚拟环境二、激活tt1虚拟环境activate tt1三、安装spyder【如果不安装spyder,在当前环境下将无法使用spyder】conda install spyder==4.1.3安装好之后再次输入:pip install spyder==4.1.3这一步是为了确保所有依赖安装成功,没有缺少的依赖。在实测中发现:conda安装会少安装一部分依赖,导致spyder无法启动;再次使用 pip 安装可以确保所有依...原创 2021-09-20 10:24:35 · 16042 阅读 · 3 评论 -
.py文件应该怎样打开?
在我们学习python的时候,经常遇到一个问题,拿到别人发给你的.py文件,却发现自己双击后打不开这个文件,这是为什么呢? 主要原因在于:.py文件是一种格式,不同格式需要不同的东西打开。就像你电脑上有个.mp4文件,你非要去使用word去打开,能打开吗?显然不能,.mp4需要用视频播放器打开。.py文件同理,需要用能打开.py文件的东西打开。 打开方式一:可以直接选中文件,然后鼠标右键选择打开方式,找到记事本打开,这样就能看到.py文件的内容了。...原创 2021-09-19 17:20:05 · 47389 阅读 · 0 评论 -
如何将一个列表内元素按行写入csv文件?
遇到这么一个问题,现在有一个列表,然后需要将列表内的每个元素写入到一个csv文件中,并且每个元素位于一行。如下图所示:原创 2021-06-21 11:04:20 · 7561 阅读 · 2 评论 -
Anaconda下安装第三方库在Spyder内无法导入的问题
在安装pythondi'san'ku原创 2021-06-20 11:26:46 · 5863 阅读 · 5 评论 -
Label Encoding与One Hot Encoding的区别
在机器学习中,通常需要对类别变量单独做处理,这是因为模型的输入项基本都需要是数值型变量,而因为类别变量本身不带数值属性,所以需要进行一层转换。常用的方法一般有两种:label encoding和one hot encoding,这两种方法在不同的模型和数据集上有不同意义。...原创 2021-05-13 18:06:39 · 1151 阅读 · 0 评论 -
实现Python的第一个程序
实现Python的第一个程序相信无论你学习任何编程语言,第一个程序基本上都是"Hello World!",现在既然我们要学习Python这门编程语言,那么我们的第一个程序也按照流程来走,实现第一个"Hello World!"。关于编译器,在之前我们已经盘点地非常详细了,后续给大家演示程序的时候所使用的编译器均Spyder,关于Spyder的详细使用就不再赘述。首先创建一个名为hw....原创 2020-02-18 19:17:16 · 368 阅读 · 0 评论 -
老铁,了解一下Python吗?
一、何为Python?Python是一种方便、实用、上手快的计算机程序设计语言。当然,还有一些其它的你耳熟能详的编程语言,比如巨难学的C语言,非常流行的Java语言,适合初学者的Basic语言,适合网页编程的JavaScript语言等等。但是,这些语言的实用性都没有Python语言强。二、为什么学习Python?1.开发过程耗时短。假设你有一个需要编程来完成的任务,如果你使用C语言...原创 2019-11-26 09:36:58 · 2897 阅读 · 0 评论 -
Selenium环境的配置
什么是Selenium?Selenium相当于是一个机器人,可以模拟人类在浏览器上的一些行为,比如点击,填充数据,删除cookie等。我们可以利用这项技术来完成动态网页的爬虫。环境的配置1.下载对应浏览器的驱动。2.Python安装selenium库。以谷歌浏览器为例:(1)检查自己谷歌浏览器的版本。在谷歌浏览器地址栏输入:chrome://settings/help即...原创 2019-11-16 15:15:01 · 4476 阅读 · 0 评论 -
动态网页数据抓取
动态网页数据抓取一、网页1.传统网页:如果需要更新内容,则需要重新加载网页。2.动态网页:使用AJAX则不需要加载更新整个网页,实现部分内容更新。二、什么是AJAX?AJAX(Asynchronouse JavaScript And XML)异步JavaScript和XML。理解:通过在后台与服务器进行少量数据交换【一般为post请求】,Ajax 可以使网页实现异步...原创 2019-11-15 15:49:46 · 6701 阅读 · 0 评论 -
认识生产者和消费者模式
认识生产者和消费者模式生产者和消费者是多线程中很常见的一个问题。产生数据的模块儿,我们称之为生产者,而处理数据的模块,就称为消费者。但是单单只有生产者和消费者显然还是不够的,一般来说,我们还有一个缓冲区,抽象出来的流程如下图所示。将这个过程以实际例子来说明:假如我们是一个生产辣条的厂家,我们生产出来的辣条肯定是一箱一箱地放在仓库里面,然后卖出去给消费者。【不再考虑经销商环节】1...原创 2019-11-07 21:45:16 · 3188 阅读 · 0 评论 -
线程和进程
线程和进程一、线程和进程线程是CPU调度和分派的基本单位。进程对于操作系统来说就是一个任务。听起来挺难懂的一句话,我们举一个实际例子:比如现在有一条需要被修的路,这个时候只有一个施工队要修它,假设是10天能修完;那么此时进程就是这条需要被修的路(任务),线程就是这一个施工队【单进程单线程】。如果在修这条路的时候,来了两个施工队,各修一半,此时就是多线程【多个施工队】,单进程【一...原创 2019-11-06 21:15:08 · 2747 阅读 · 0 评论 -
使用pymysql连接数据库
使用pymysql连接数据库一、什么是pymysql想要在Python上连接数据库,必须通过一个中间库,就是pymysql,当然类似的连接库还有mysqlclient等,但是pymasql是最好用的一个。【连接mysql的一个库】二、如何安装pymysql1.在线安装:直接使用pip命令安装:pip install PyMySQL2.离线安装:下载对应的.whl文件,直...原创 2019-11-02 11:35:36 · 3866 阅读 · 0 评论 -
连接数据库
数据库的可视化操作软件—Navicat的安装1.下载方式:群内下载即可。2.双击程序进入安装。3.安装成功后,以管理员身份打开此文件。4.打开测试:解决方式:输入:(1)alter user 'root'@'localhost' identified with mysql_native_password by ...原创 2019-11-01 16:07:38 · 3612 阅读 · 1 评论 -
爬虫数据存储—安装MySQL
爬虫数据存储—安装MySQL一、MySQL的下载1.官方网址:https://www.mysql.com/2.群内下载:二、MySQL的安装1.双击mysql-installer-community-8.0.12.0.msi三、测试安装是否成功。1.win + R 后...原创 2019-11-01 14:13:00 · 3949 阅读 · 2 评论 -
爬虫数据存储—数据库和MySQL
爬虫数据存储—数据库一、什么是数据库?数据库是一个以某种有组织的方式存储的数据集合。简单来说,我们可以将数据库想象为一个文件柜,文件柜里面有很多文件,这些文件我们称之为表。举一个实际例子:比如说我有一个文件柜,文件柜的名字是“my_data”,然后将高一成绩做成一张excel表【仅有一个sheet】,高二成绩做成一张excel表【仅有一个sheet】,高三成绩做成一张excel表【仅有...原创 2019-11-01 10:30:00 · 5454 阅读 · 0 评论 -
爬虫数据储存—CSV文件
爬虫数据储存—CSV文件一、什么是CSV文件逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。二、CSV文件特点:1.以.csv作为结尾。2.一般以逗号作为分隔符,当然也可以不是逗号。3.每一行代表一个数据,以指定的分隔符分隔。4.可以有表头,也可以没有表头...原创 2019-10-31 10:51:49 · 6137 阅读 · 1 评论 -
1.爬虫数据储存——Excel环境配置
爬虫数据储存——Excel环境配置一、python处理excel文件两种方式:1.读取excel文件当我们需要读取excel文件的时候,需要用到xlrd库。2.写出excel文件当我们需要写出excel文件的时候,需要用到xlwt库。二、xlrd库和xlwt库的安装1.在线安装(1)xlrd库的安装pip install xlrd(2)xlwt库的安装...原创 2019-10-28 21:27:50 · 2924 阅读 · 0 评论 -
8.爬虫数据提取——bs4的解析引擎介绍
爬虫数据提取——bs4的解析引擎介绍在使用requests库获取到html字符串之后,接下来我们便可以使用bs4库对其进行解析,比如:from bs4 import BeautifulSoup#content为待解析的html字符串#lxml为bs4的解析器[解析器有不同的选择]soup = BeautifulSoup(content,"lxml")在这里我们需要自行选择不...原创 2019-10-28 11:26:19 · 3057 阅读 · 0 评论 -
7.爬虫数据提取——BeautifulSoup4库
BeautifulSoup4库一、什么是BeautifulSoup4库?和 lxml 一样,Beautiful Soup 也是一个HTML/XML的解析器,主要的功能也是如何解析和提取 HTML/XML 数据。简单来说,Beautiful Soup只是一个从html字符串提取数据的工具而已。二、性能差异?lxml 只会局部遍历,Beautiful Soup 是基于HTML DOM(...原创 2019-10-28 10:40:54 · 2968 阅读 · 0 评论 -
5.爬虫数据提取——正则表达式
爬虫数据提取——正则表达式一、什么是正则表达式?正则表达式(regular expression)描述了一种字符串匹配的模式(pattern),可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。二、正则表达式学习方式【由简单到复杂,由语法到应用】1.匹配单个字符2.匹配多个字符3.正则表达式应用实例4.正则表达式应用于htm...原创 2019-10-28 09:55:22 · 3504 阅读 · 0 评论 -
6.爬虫数据提取——正则表达式
一、单字符匹配规则方式 描述 点(.) 匹配任意字符 \d 匹配任意数字 \D 匹配任意非数字 \s 匹配空白字符 \w 匹配小写的a-z、大写A-Z、数字0-9和下划线_ \W 匹配除小写\w之外的内容 [ ] 组合方式进行匹配,满足[ ]内的均可匹配 二、多字符匹配规则方式 描述 星号(*) ...原创 2019-10-24 22:58:48 · 3017 阅读 · 0 评论 -
4.爬虫数据提取——lxml库的环境配置
爬虫数据提取——lxml库的安装一、什么是lxml?在我们获取html页面之后,可以使用xpath语法进行数据提取,但是,直接在获取的content里面使用xpath语法进行数据提取吗?显然不是的,获取的内容仅仅只是一个包含所有内容的html字符串,Xpath语法是无法直接作用于这样的一个字符串进行数据提取的,所以,在这里,我们需要使用lxml这样一个库对html这样的字符串进行解析,将它...原创 2019-10-21 20:58:08 · 3238 阅读 · 0 评论 -
3.爬虫数据提取——Xpath语法
爬虫数据提取——Xpath语法一、写在前面HTML页面是由标签构成的,这些标签就像整个族谱一样排列有序,比如:xxx ->> 太爷爷 ->> 爷爷 ->> 爸爸 ->> 儿子 ->> 孙子 ->> xxxxxx ->> body ->>script &div@id='wr...原创 2019-10-21 20:23:37 · 4738 阅读 · 0 评论 -
2.爬虫数据提取——Xpath环境配置
爬虫数据提取——Xpath环境配置一、什么是Xpath语法?xpath(XML Path Language)是一门在XML和HTML文档中查找信息的语言,可用来在XML和HTML文档中对元素和属性进行遍历。简单来说,我们的数据是超文本数据,想要获取超文本数据里面的内容,就要按照一定规则来进行数据的获取,这种规则就叫做Xpath语法。二、通过规则怎样定位数据?XPath 用于在 HT...原创 2019-10-21 18:23:20 · 3499 阅读 · 0 评论 -
1.爬虫数据提取——方法总结
爬虫数据提取——方法总结在获取了我们想要的html页面之后,接下来的问题就是如何将我们需要的数据给提取下来,一般来说有三种方式,分别是Xpath语法,正则表达式和bs4库,只要掌握了这三种方法,可以说html页面上没有什么数据是我们获取不到的。我们来对这三种方式做一个简单的总结:解析方式 解析速度 难度 Xpath 快 中等 bs4 慢 容易...原创 2019-10-21 16:08:06 · 4762 阅读 · 0 评论 -
4.爬虫基础——你真的了解url(网址)吗?
1.什么是URL?URL:(Uniform Resource Locator,统一资源定位符),用于定位网络上的资源,每一个信息资源在网上都有唯一的一个地址,俗称网址。比如:打开https://www.baidu.com/,就会显示如下网页。2.URL的组成?URL遵守以下的语法规则:scheme://host:port/path/?query-string=xxx#anch...原创 2019-10-20 11:14:47 · 5848 阅读 · 0 评论 -
3.爬虫基础——网络请求
网络请求1.网络请求的分类:网络请求主要有八种,如下表所示:HTTP请求 请求方式 描述 GET 发送请求来获得服务器上的资源【比如请求百度的页面】 POST 向服务器提交资源让服务器处理【比如百度云盘上传资源】 HEAD 主要用来检查资源或超链接...原创 2019-10-19 21:42:04 · 4234 阅读 · 0 评论 -
豆瓣电影影评爬取---最受欢迎的影评[xpath语法]
豆瓣电影影评爬取---最受欢迎的影评[xpath语法]1.基础环境配置:requests-->版本:2.12.4lxml-->版本:3.7.22.爬取网址:https://movie.douban.com/review/best/?start=0注意问题:(1)由于时间的不同,最受欢迎影评可能发生改变,所以爬取到的结果有可能不一致。(2)该页面仅是第...原创 2019-10-13 16:57:19 · 4572 阅读 · 1 评论 -
Python爬虫实例--新浪热搜榜[正则表达式]
Python爬虫实例--新浪热搜榜[正则表达式]1.基础环境配置:requests-->版本:2.12.4re-->:Python自带,无需安装2.网页分析很容易从html源码中看到,热搜内容在html的<a></a>标签内,热度在<span></span>标签内,我们可以利用这一点用正则表达式进行数据抓取。...原创 2019-10-13 16:23:57 · 3875 阅读 · 1 评论 -
Python爬虫实例--新浪热搜榜[xpath语法]
Python爬虫实例--新浪热搜榜[xpath语法]1.基础环境配置:requests-->版本:2.12.4lxml-->版本:3.7.22.网页分析很容易从html源码中看到,热搜内容在html的<a></a>标签内,热度在<span></span>标签内,我们可以利用这一点用xpath语法进行数据的提取。...原创 2019-10-12 13:11:41 · 3602 阅读 · 0 评论 -
Python常用命令
1.卸载一个Python库:pip uninstall 库名。 ->pip uninstall numpy原创 2019-09-02 16:10:13 · 2851 阅读 · 0 评论 -
Python中库的一些权限问题
在安装库的时候,偶然发现报错了!!!报错了!!!报错信息:Anaconda PermissionError: [WinError 5] 拒绝访问。OK,先说原因,然后上解决办法。笔者电脑上有两个原因:1.权限不够2.文件夹只能读,也就是只读模式。解决:修改上面两个就行了。1.提高权限。我们需要在外层文件夹中,提高site-packages这个文件夹的权限即可...原创 2019-09-02 16:39:09 · 3425 阅读 · 0 评论 -
谈一下Python的前世今生
有心栽花花不开,无心插柳柳成荫那是在1989年的圣诞节期间,吉多·范罗苏姆(Guido van Rossum)因为放假,闲来没事儿做,毕竟单身程序员,没约会,没聚会,更没有王者,那怎么办呢?怎样消遣时间呢?那就来写代码吧!也不行,单纯地写代码太无聊了,要干就要干点颠覆的事情:开发出一个新的脚本化语言吧。说干就干,先来看看一下ABC语言。ABC语言是由吉多参加并且设计的一种教学语言,就吉多本...原创 2019-09-16 20:15:46 · 3014 阅读 · 0 评论 -
Anaconda的虚拟环境
1.查看当前的虚拟环境命令:conda env list2.创建虚拟环境命令:conda create -n env_name python=X.X(2.7、3.6等)3.activate虚拟环境命令:activateenv_name4.关闭(退出)虚拟环境命令:deactivate5.删除虚拟环境(1)命令:conda remove ...原创 2019-10-23 22:46:59 · 4027 阅读 · 0 评论 -
1.爬虫基础——了解html&什么是爬虫
众所周知:我们上网浏览的网页,他们的本质是一个又一个html页面。那什么是html呢?可以这么理解,编写JAVA有JAVA的语言逻辑,编写Python有Python的语言逻辑,编写网页就需要遵从html的语言逻辑,而编写好了的html就可以显示出来我们所看到的网页了。如下示例:图1图2正如我们在上面所看到的,当我们查看https://www.baidu.com/这个网址的时候,...原创 2019-10-10 09:37:20 · 3692 阅读 · 0 评论 -
2.爬虫基础——为什么学习爬虫?
我们来解答上一次提出的问题:为什么花费这么大力气去html页面提取信息干什么?还不如直接打开原始页面进行复制粘贴呢,这不是一样的吗?第一点:个人复制粘贴的话,一个网页还好,十个网页也还行吧,但是一百个,一千个甚至更多呢?所以说,人力是不足以完成这个工作的。因此需要爬虫的参与。第二点:爬虫模拟的是人的状态。比如,我想要进行复制粘贴所有的影评信息,是不是应该按顺序打开每一个的影评页面呢?举一个...原创 2019-10-10 10:50:11 · 3054 阅读 · 0 评论