![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 52
良木66
过去无可挽回,未来可以改变。
展开
-
【python】解决给文件写入汉字,中文字符乱码问题
python如果用open()方法打开文件,默认会指定Ascill码来编辑输入字符。但是如果你用UTF-8的方式打开文件,由于字符集不匹配的原因,导致中文会乱码。解决乱码的方法也很简单,只需要关掉Ascill码集的识别,让其原始写入即可。具体看代码:# -*- coding: utf-8 -*-import jsonif __name__ == '__main__': path = './data.json' with open(path, 'w', encoding='utf-8'原创 2022-05-14 15:04:54 · 8840 阅读 · 0 评论 -
python爬虫自学宝典——总结
俗话说的好,山不转水转,山水相逢即有缘。现实中你我并不相识,但是并不妨碍你我神交。看了我的scrapy讲解,你甚至不需要明白网页架构,服务器工作原理,scrapy框架的架构,就已经会写一些简单的虫子爬取数据了。我的目的也是让看的人懂怎么用,而不是明白太多的为什么,尽管为什么很重要,但是我也不好说,因为牵扯的东西太多了,岂是我一个小小的大学生能够解释清楚的。其实我做这么多,写这么多,就是想说一句,...原创 2020-03-29 15:50:21 · 885 阅读 · 0 评论 -
python爬虫自学宝典——反爬虫手段
前文回顾亲爱的各位看官们,看到这篇文章的时候,我们的爬虫之旅马上就要告一段落了。如果你支持我的博客,请点赞关注并分享。如果你觉得在下写的好,有钱的捧个钱场,没钱的捧个人场。我的博客都是公开的,也就是说,不要钱随便看的。当然如果阁下略微施舍点,在下也感激不尽。好了,闲言少叙,书归正文。爬虫呢?本质上说来其实就是模仿用户,到浏览器上抓取信息的一种手段。其实每个网站或多或少的有放爬虫意识,只是强不...原创 2020-03-28 21:32:38 · 798 阅读 · 0 评论 -
python爬虫自学宝典——如何爬取高清图片
前文回顾获取高清图片的任务交给爬虫也是一个不错的选择,现在很多图片网站的图片,大部分都是用爬虫进行爬取的。原因很简单,与其一张一张入库,不如直接利用爬虫爬取入库,效率简直是天差地别。本节呢,讲述如何到专门的图片发布网址上爬取高清图片并且下载下来。登录以下网址:https://unsplash.com进去之后,可见这是一个专门为图片发布提供的网址,其主页结构如下:如果你要浏览这个网页的...原创 2020-03-28 15:43:03 · 3087 阅读 · 0 评论 -
爬虫自学宝典——使用pygal可视化处理
前文回顾准备条件:使用pygal模块,应该先装pygal包,最简单的方法就是pip了。win+R——>cmd打开dos窗口,输入:pip install pygal等待数据连接后,模块加载成功后,自然会出现successfully字符的。使用爬虫爬取数据后,前文我们已经介绍了如何将数据信息写入文件和存入数据库,但是这两者都是建立在干巴巴的数据上的操作;那么如何直观的展示这些...原创 2020-03-27 21:16:24 · 797 阅读 · 0 评论 -
python爬虫自学宝典——将爬取的数据写入MySQL数据库
前文回顾上一节介绍了怎么将信息写入json中,这一节讲怎么将爬取的信息写入MySQL数据库中。写入数据库中,其实只需要修改pipeline.py文件即可,凡是输出,都只需要修改pipeline文件即可。打开pipeline文件,咱们上一节写入的内容如下:# -*- coding: utf-8 -*-# Define your item pipelines here## Don't f...原创 2020-03-26 21:08:42 · 4748 阅读 · 0 评论 -
python链接MySQL
python链接MySQL操作很简单,按以下步骤进行即可。下载安装MySQL不在本文讲解范围内,请阅读者自行查找其他资源。步骤一:装载MySQL-connector-python模块win+R——>cmd打开dos窗口,输入如下命令:Pip install mysql-connector-python -i https://pypi.tuna.tsinghua.edu.cn/sim...原创 2020-03-26 14:08:47 · 1693 阅读 · 3 评论 -
python导入dns模块异常错误——ModuleNotFoundError: No module named 'dns'
首先,先自嘲一下,蠢材博主。今天用python链接MySQL,想搞点事情,但是导入模块这老错,让人很难受。具体错误如下:import mysql.connectorTraceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\Users\14383\AppDa...原创 2020-03-26 12:25:02 · 14820 阅读 · 0 评论 -
python——json介绍和json支持
json介绍json即JavaScript object notation,他是由ECMAScript(欧洲计算机协会制定的js规范)的一个自己,采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得json成为理想的交换语言。易于人阅读和编写,同时也易于集器解析和生成,并有效的提升网络传输效率。最早的时候,json是用来JavaScript 语言的数据交换格式,后来才慢慢...原创 2020-03-25 12:48:18 · 982 阅读 · 1 评论 -
python爬虫自学宝典——如何爬取下一页信息
前文回顾,点击此处。爬虫爬取下一页信息很简答,无非就是获取下一页的连接url而已。首先,在提取完所有的response信息后,spider可以使用xpath找到页面中代表“下一页”的链接,然后使用request发送请求即可。首先,在浏览器中打开我的播客主页HTML代码中的下一页链接信息(在浏览器中,按F12),如下图:由上图只,下一翻页的xpath为‘//a[@class=“show_m...原创 2020-03-23 17:40:58 · 10760 阅读 · 2 评论 -
python爬虫自学宝典——使用json导出信息
容在下告假,有事在身,抱歉。原创 2020-03-23 18:01:14 · 825 阅读 · 0 评论 -
python爬虫自学宝典——开发步骤
通过前面的解说,已经知道了如何到网络上爬取自己想要的信息;现在,我们只需要将这些测试代码再spiders中实现即可实现真正的爬虫。一、定义items类。此步为开启爬虫的首要任务,该类仅仅用于定义项目需要爬取的几个属性(值),比如爬取博客名称,博客类型, 博客介绍信息等。访问我的博客界面,如下:本教程爬取我的各个博客的名称,阅读量,以及创建时间。打开自己创的项目目录,进入item.py文...原创 2020-03-23 16:24:02 · 1028 阅读 · 0 评论 -
python爬虫自学宝典——创建scrapy项目和项目框架介绍
在使用爬虫前,需要创建一个爬虫项目。创建爬虫项目其实很简单,可以直接利用scrapy自带的工具。首先,打开dos窗口,用cd/d 命令定位到想要创建项目的位置。然后在命令行窗口输入如下命令:scrapy startproject demo上述命令创建了一个以demo命名的项目,键入命令成功后,命令行会出现如下字段。You can start your first spider wi...原创 2020-03-19 23:24:19 · 765 阅读 · 0 评论 -
python爬虫自学宝典——安装Scrapy
安装Scrapy最简单的方法就是pip了,我用的是python3.8,所以是pip3。打开dos窗口,输入如下命令段:pip3 install scrapy注:如果没有pip命令,先检查你装python了没有,在命令行窗口输入python字符,查看python版本信息等。如果有python,用exit()退出python命令窗口,进入dos命令窗口。在dos命令窗口中输入python -m...原创 2020-03-19 12:37:36 · 1583 阅读 · 0 评论 -
python爬虫自学宝典——引言
在下本身才疏学浅,也谈不上多么多么牛逼,就是想做一些自己喜欢的事情。比如学习,看书,旅游等等。python爬虫自学宝典就是给自己做的手稿,看的人若是能得到启发,那是在下之幸;若得不到,那是在下的手笔,才学还没有到一定高度。此文章,仅仅供阁位消遣,本人也是一个大学生,无非就是喜欢学点新奇的东西而已。若是有不对的地方,还望各位大佬一一斧正。Scrapy简介数据从何而来?又去往何处?很多和我一样的...原创 2020-03-19 11:37:01 · 945 阅读 · 0 评论 -
python中的yield与return的区别,以及yield究竟是个什么东西
今天写代码遇见了yield这个关键字,在我的映像中是用来生成生成器(generator)的。网上很多教程,很多信息都说这个yield如何如何的,都让我很费解,无奈下只好翻出参考书,认真阅读了一些yield的信息。yield究竟是个什么东西呢?说白了就是特殊的return而已,与return不同的是,return返回后,函数直接结束;而yield返回后,程序是冻结的。也许说的太抽象,可以看看下面这...原创 2020-03-18 18:25:57 · 1257 阅读 · 1 评论 -
Python运算符总结和其优先级
刘某人觉得吧,和我一起新学python的人,看了这个不亏!一、算术运算符假设:str2=“abc”运算符描述实例“+”双目运算符,加6=4+2;“123abc”=str1+str2“-”双目运算符,减2=4-2“*”双目运算符,乘8=2*4“**”双目运算符,幂16=4**2(支持小数点开根)“/”双目运算符,除2=4/2...原创 2019-07-26 18:08:26 · 902 阅读 · 0 评论 -
matplotlib库——pyplot模块的plot函数
matplotlib绘制曲线图的时候,我们会使用到pyplot模块的plot函数。plot函数可以一次画一条曲线,也可以同时画多条曲线。今天我们就介绍一下这个函数的用法。函数表达式:pyplot.plot(x,y,format_string,**kwargs)说明:x:代表x轴的数据y:代表y轴的数据format_string:用于精致曲线显示格式的字符串**kwargs:当想要画多条...转载 2019-07-28 21:55:07 · 3250 阅读 · 0 评论 -
python中的正则表达式详解
一、正则表达式是什么?(急于用正则表达式的朋友可以直接跳过这个部分)————————————————————————正则表达式(regular expression)描述了一种字符串匹配的模式(pattern),可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。几乎每个网上教程或者博客对其定义都是这个,不过我还要啰嗦一下的,因为我在正则表达式上面费...原创 2019-09-27 13:09:26 · 11050 阅读 · 0 评论 -
如何解决python自定义类的构造方法无法重载问题,并写入json中读取/输入
一、python类的构造方法怎样解决重载问题首先,强调一下,python的类的构造方法,不能重载,不能重载,不能重载。首先,强调一下,python的类的构造方法,不能重载,不能重载,不能重载。首先,强调一下,python的类的构造方法,不能重载,不能重载,不能重载。既然不能重载,那咋办?对于java与c++用惯了的人,这很为难。不过,python不能重载构造函数,那么我们就想办法让pyth...原创 2019-09-29 12:41:52 · 1258 阅读 · 0 评论 -
python获取当前屏幕的分辨率
import tkinterscreen = tkinter.Tk()x = screen.winfo_screenwidth()#获取当前屏幕的宽y = screen.winfo_screenheight()#获取当前屏幕的高print(x,y)del win原创 2019-10-02 19:55:47 · 7419 阅读 · 0 评论 -
python虚拟环境的好处以及安装激活
下文皆不是本人所作,只是将两个相对较好的部分拼接在了一起,以供大家参阅。(虚拟环境的安装,本人提供的是python3.4以上版本的,不需要的可以跳过)虚拟环境的原理一 虚拟环境 virtual environment它是一个虚拟化,从电脑独立开辟出来的环境。通俗的来讲,虚拟环境就是借助虚拟机docker来把一部分内容独立出来,我们把这部分独立出来的东西称作“容器”,在这个容器中,我们可以只安...转载 2019-07-30 09:02:00 · 1981 阅读 · 3 评论