可爱丸学python-CSDN博客

原创小白也能学会的python爬虫通用公式，小姐姐带你轻松入门python爬虫！

hello大家好，我是你们的可爱丸，我们又见面啦。距离上次更新已经将近一年，说起来还怪不好意思的。为了表示歉意，本期教程我自创了一个python爬虫的万能通用公式并分享给大家。学会这个方法，每次只需要进行简单修改，你就能轻松获取到许多网站上的信息。那么话不多说，我们现在就开始学习吧。首先我们需要了解这个通用公式都有哪些步骤。其实，这个公式十分简单，只需要四个步骤，分别是：1、导入需要用到的库2、确定URL和请求头3、编写获取数据的函数4、调用函数接下来，我们逐个进行讲解。一、导入需要用.

2021-05-29 23:05:17 4619 31

原创如何判断爬虫程序是否被反爬？python爬虫基础知识 | 网页状态码学习（小白必看）

hello大家好，我是你们的可爱丸，我们又见面啦！从今天开始我将会和大家分享一些有关python爬虫的基础知识，非常适合刚入门爬虫以及爬虫基础不是很好的朋友学习哦，希望大家能跟着我的教程，慢慢的将爬虫的基础打牢。那么今天就是我们python爬虫基础知识的第一节课，即：如何通过网页状态码来判断我们的请求是否成功、爬虫程序是否已被网站的反爬技术检查到？【视频教程】【图文教程】首先我们要知道，网页的状态码有很多，我们不可能把所有的网页状态码都记住，但是我们可以通过网页状态码的开头数字来简单判断它们是.

2020-06-25 19:44:43 6053 1

原创 python基础必知必会：将字符串、列表等数据保存为txt文本文件的方法

大家好，我是你们的可爱丸，欢迎大家再次来到可爱丸的python课堂。大家都知道，python爬虫的功能十分强大，通过爬虫的我们可以获取到网络上海量的数据。但是只会获取数据可不行，将那些有价值的数据保存起来也是我们做爬虫的关键一步。那么今天我就带着大家来学习如何将python爬虫爬取到的数据保存为txt文本文件。在学习之前，我们先来了解一下几种打开文件的方式。读写方式可否读写若文件不存在写入方式w写入创建覆盖写入w+读取+写入创建覆盖写入a

2020-06-04 16:36:51 15641 2

原创 Python读取excel表格数据并绘制成柱状图 | 数据排序、柱状图颜色、标签乱码等问题通通能够解决！

hello大家好，我是你们的可爱丸，我们又见面啦！python的功能十分强大，它不仅可以用来做爬虫，还可以用来做数据分析哦！那么今天我就带着大家用python 分析表格数据，并绘制成柱状图，让大家感受一下用python来绘制图表是一种什么感觉。这是我们今天要分析的表格数据：表格名称为test.xlsx，分为两列，一列是包含姓名信息，一列是包含年龄信息1、首先我们需要在python中读取表格test.xlsx的数据，并在控制台输出表格数据，检查所选择的表格是否为目标表格#导入需要用.

2020-05-17 14:47:50 22495 10

原创爬虫数据云词图片怎么做？小姐姐教你用python做B站弹幕爬虫，并进行数据分析生成词云

hello大家好，我是你们的可爱丸，大家平时在B站看视频时有没有开弹幕的习惯呢？如果不把视频从头看到尾，那么多弹幕，我们怎么快速的知道大家都说了些什么并且持有什么观点呢？今天小姐姐就教你做一个简单的B站弹幕爬虫，让你在没有观看视频的情况下就能预先知道大家都在弹幕里面评论了什么，并且什么是大家说的最多的词语。话不多说，现在我们就开始学习B站弹幕的python爬虫吧！【效果预览】【详细教程...

2020-05-05 23:04:26 926

原创 18行代码搞定python爬虫：爬取58同城二手车信息并保存为Excel文件，python小白必看！

hello大家好，我是你们的可爱丸，今天我要和大家分享案例是一个只有18行代码的python爬虫。麻雀虽小五脏俱全，大家别看这个案例的代码数量少，但它却可以同时实现数据爬取和保存功能，现在你是不是迫不及待的想要学习了呢？那么接下来我就带着大家一起来详细学习吧！代码运行效果详细教程1、目标网页及网页数据查看方法我们今天要爬的网页是58同城的二手车信息页面，地址为：https:/...

2020-05-05 22:53:05 4960 3

原创小说网站竟然没有下载功能?跟小姐姐学会这个python小说爬虫，把全文小说带回家！

hello大家好，我是你们的可爱丸，不知道你们有没有遇到过这种情况：自己喜欢的小说竟然只能看不能下载？？？作为一个python学习者，这种情况当然不能忍，那么今天我就教大家用python写一个小说爬虫，轻轻松松的把全网小说都下载到你的电脑里。视频教程地址：https://www.bilibili.com/video/bv1gQ4y1M7j7本次案例我选取的是小说网站是：笔趣阁，首...

2020-04-02 16:08:06 4091 1

原创 Python基础——类、实例及初始化

一、面向对象编程我们最开始写代码是面向过程编程的，即：一步步按顺序去实现后来我们学习了函数，把这些功能封装到函数里面，需要实现某个功能的时候直接调用就行，这样可以减少代码的重复性，这就是函数式编程现在我们学习第三种编程方法：面向对象编程—— 一切事物皆为对象，面向对象编程是一种编程设计思想。面向对象程序设计作为一种新方法，其本质是以建立模型体现出来的抽象思维过程和面向对象的方法。面向对象...

2019-04-07 22:19:32 2498

原创 Python基础——匿名函数+作用域

一、匿名函数：lambda函数名 = lambda 参数：表达式1、有名函数def f2(a, b): return a + bprint(f2(2, 4)) # 62、匿名函数lambda 匿名函数想要自执行:函数名()f2 = lambda a,b: a + bprint(f2(2, 4)) #6 函数名 = lambda 参数：表达式...

2019-04-05 00:17:03 328

原创 Excel2013函数公式大全（二）

1-11 SUM实例1：SUM累计余额计算实例2：合并单元格也能求和实现向上累计求和直接将不需要的单元格删掉，就能得出合并单元格的总分：1-12 AVERAGE的另类用法求如果工资大于4000的，减100元，否则减50元计算一下三个月工资都大于3000的平均工资1-13 COUNT应用巩固计算每一课的出勤率？计算一下缺考人数？1-14 ...

2019-03-08 11:27:48 13437

原创 Excel2013函数公式大全（一）

1、函数的定义与作用excel中内置好的一些公式，只要往公式填写参数即可，能处理、分析、汇总数据2、最常用函数求和：sum平均值：average计数：count最大值：max最小值：min3、写函数公式时的注意事项怎么写函数？怎么补全函数？怎么填写参数？怎么复制填充公式？4、excel常用数学运算符算术运算符含义+（加号）加法-（减号...

2019-03-06 18:05:22 16003

原创 Python进阶——线程的理解

一、线程的调度机制1、图解线程调度机制注：1秒=1000毫秒，不同的线程不是同时运行的，只是因为其运行速度较快，让我们有一种它们在同时运行的错觉。2、实例因为线程是一个Python程序里面的子单元，它们是可以共享变量作用域的。线程只是独立的执行单元，因此作用域是可以共享的就算是100个线程，它也是跑在一个程序里import threadinga = 1 # 主线程def...

2019-03-06 13:25:10 292

原创第一章 Django简介及简单案例

一、Web框架介绍 web应用框架的设计模式有MTV和MVCMTV模式介绍：M：models 模型：负责业务数据对象与数据库对象T : templates 模板：负责如何把数据展示给用户V：views 视图：负责业务逻辑MVC模式介绍：M：models 模型：负责业务数据对象与数据库对象V：views 视图：负责与用户交互的页面C： control 控制器：接受用户的...

2019-03-05 13:14:58 599

原创 Web前端知识第二节——表单、表格、列表

一、图片1、图片格式BMP：位图 ( 点阵图 ) 通常是不压缩的，占用空间大色彩丰富JPEG：（JPG）压缩方式通常是破坏性数据压缩，在压缩过程中图像的质量会遭受到可见的破坏GIF：对透明色和多帧动画的支持，优秀的压缩算法使其在一定程度上保证图像质量的同时将体积变得很小，可设置透明色以产生对象浮于背景之上的效果。PNG：无损压缩的位图图形格式，支持Alpha通道的透明/半透明特...

2019-03-02 16:42:30 1252

原创 Web前端知识第一节——各类标签的使用

一、什么是HTML？1、HTML简介HTML(HyperText Mark-up Language)超文本标记语言HTML不是一种编程语言，而是一种标记语言（markup language），标记语言是一套标记标签（markup tag）2、HTML标签标签是由尖括号<>把关键字括起来，标签通常是成对出现的3、Web浏览器读取HTML文档，使用标签来解析页面的内容，以网页...

2019-03-02 12:39:24 403

原创 Python基础——文件操作及IO流

一、文件的基本操作：打开、读取、关闭# 绝对路径# f = open(r'G:\Envs\Bilitest\笔记\test.txt', 'r')# 相对路径f = open(r'test.txt', 'r')print(f.read())f.close()二、文件的基本操作：写入单值写入：f = open(r'test.txt', 'a')f.write("我超可爱哒...

2019-02-28 20:25:35 2782

原创 Python基础之魔术方法和描述器

一、魔术方法1、call ：实例直接调用，需要定义__call__方法未定义__call__方法时：class Test: def __init__(self, num): self.num = enumerate def __add__(self, other): print(self.num) print(other...

2019-02-28 17:10:46 185

原创 Python中的闭包及单层装饰器

一、闭包1、函数嵌套f1函数内又定义了一个f2函数，我们调用f1函数,f1函数内部又调用了f2函数，这就叫函数的嵌套def f1(): print(&amp;quot;f1外层函数&amp;quot;) def f2(): print(&amp;quot;f2内层函数&amp;quot;) return f2()f1()'''f1外层函数f2内层函数'''函数名即变量

2019-02-28 13:10:23 188

原创 Python基本数据类型——集合

一、集合简介1、集合是无序的，且不允许重复2、变量初始化a = {1, 3, "s", "n"}print(type(a)) #<class 'set'>b = set()print(type(b)) #<class 'set'>c = {}print(type(c)) #<class 'dict'>二、常用功能：增删查，去...

2019-02-26 23:22:53 199

原创字符串格式化+字符串编码+深浅拷贝

一、字符串格式化的两种方法1、字符串的格式化：%d %f %s需要指定数据类型，且需要一一对应s = "vae"d = 32print("我叫%s,年龄%d" %(s, d)) #我叫vae,年龄322、format是python特有的，不需要指定数据类型，不需要一一对应s = "vae"d = 32print("我叫{},年龄{}&

2019-02-26 22:39:07 346

原创 Python基础——贪婪模式

一、贪婪模式简介非贪婪模式(.*?) 即尽可能少的匹配字符:.表示单个字符* 表示{0，} 0到无穷多个字符？表示{0,1} 0到1个字符贪婪模式和非贪婪模式的对比贪婪模式会尽可能多的匹配字符import res = 'abcdecccccfg'r1 = re.findall("ab.*c", s) #贪婪模式print(r1) #['abcdeccccc']r2 ...

2019-02-25 22:47:32 1936

原创 Python基本数据类型——字典

Python基本数据类型——字典一、字典简介字典dict：由键值对构成的无序集合（key–value键（key）：数据类型一般为数字或者字符串，必须是唯一不重复的值（value）：可以使任意数据类型二、字典的变量初始化a = {}b = { 1: 2, #key:数字；value：数字 "k2": "v2", #k...

2019-02-22 19:25:11 786

原创 Python基础——正则表达式

Python基础——正则表达式一、什么是正则表达式？正则表达式其实就是一个用来匹配和提取字符串的工具简单来说就是：在一堆东西里面提取我们想要的内容正则表达式的模块是：re1、re.findall()：将符合规则的字符串以列表形式返回import res = 'python123'r = re.findall("python", s) #['python']print(...

2019-02-22 18:41:03 339

原创 Requests基础学习（一）

一、Requests1、Requests库的简介request库是python的第三方库，它也是目前公认的爬取网页最好的第三方库，其特点是：简单、简洁，甚至用一行代码就能从网页上获取相关资源。2、requests库的安装方法按住windows+R键，在窗口中输入cmd，打开命令提示符pip install requests安装成功提示3、request使用的...

2019-02-21 19:57:45 733

原创 Python基本数据类型——字符串

字符串是字符的序列表示，可以由一对单引号(’)，双引号(“)或三引号(’’’)构成。其中单引号和双引号都可以表示单行字符串，两者作用相同。使用单引号时，双引号可以作为字符串的一部分，反之亦然。三引号可以表示单行或多行字符串。1、字符串实质上是字符的序列表示2、按住鼠标左键再单击str可进入源码查看str拥有的函数方法按住鼠标左键再单击str可进入源码查看str拥有的函数方法3、例如，...

2019-02-21 17:38:46 800

原创 Scrapy工作原理

一、Scrapy架构图Scrapy框架主要由六大组件组成，它们分别是调试器(Scheduler)、下载器(Downloader)、爬虫（Spider）、中间件（Middleware）、实体管道(Item Pipeline)和Scrapy引擎(Scrapy Engine)1、Scrapy Engine(引擎): 引擎负责控制数据流在系统的所有组件中流动，并在相应动作发生时触发事件。2、...

2019-01-31 14:02:35 9747 5

原创一、Python数据分析之Pandas学习

一、什么是Pandas？pandas是基于NumPy的一种工具，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法,是python的一个数据分析包。Pandas模块具有高性能、高效率和高水平，使之成为数据分析最有效的库。二、Pandas的数据结构pand...

2019-01-24 15:02:37 281

原创 Python连接MySQL

一、连接数据库方法import pymysqldb = pymysql.connect( host = '127.0.0.1', user = 'root', password = '123', port = 3306)cursor = db.cursor()cursor.execute('SELECT VERSION()')data = cursor...

2019-01-21 20:43:30 181

原创 Python基础——函数基础和函数参数

1、函数的定义def 函数名(参数)：passreturn 表达式函数名命名规则：字母、数字和下划线组成，和变量命名规则一致return 后面可以返回任意表达式，但不能是赋值语句2、函数调用：函数名(参数)3、参数形参：函数没有调用的时候，它没有任何意义；在调用时，必须传入参数，所以也叫必须参数实参：与形参位置是一一对应的，所以也叫位置参数；缺一不可，缺了或...

2019-01-21 11:24:07 688

原创二、流程控制（Python基础）

一、数据执行1、顺序执行print("I")print("love")print("Python")输出结果：2、选择执行a = 101if a &gt; 100: print("a &gt; 100")else: print("a &lt; 100&qu

2019-01-18 11:55:04 227

原创 Windows环境下安装Python（超详细图文版）

大家好，今天我来带大家一起在Windows环境下安装Python。首先我们需要打开我们的浏览器，在搜索框中输入Python，然后进入到Python的官网中。在Python官网中进入Downloads下的Windows界面下载对应电脑系统位数的Python安装包查看下载好的Python安装包点击安装包进入安装界面安装前一定要勾选Add Python 3.7 PATH选项，...

2019-01-13 17:15:29 46265 2

原创一、数据类型（Python基础）

一、python的基本数据类型：python的基本数据类型包括：数字、布尔值、字符串、列表、元组、字典、集合如何查看数据类型：通过type将想要查看其数据类型的数据用括号括起来即可查看t = type(temp)print(t)输出结果：2. 查看数字类型的方法方法作用type查看数据类型help，type查看类下全部方法dir查...

2019-01-12 01:10:29 385

原创第四节：ORM

上节知识点回顾一、ORM思考：   在服务器后台，数据是要存储在数据库的，但是如果项目在开发和部署的时候，是使用的不同的数据库，该怎么办呢？是不是需要把所有的 SQL 语句都再重新写一遍呢？无ORM时有ORM时 ORM简介 ORM全称Object Relation Mapping 对象关系映射通过ORM可以不...

2018-03-02 23:01:32 290

原创第三节：Tornado的请求与响应

上节知识点回顾一、请求与响应1.1 浏览器与服务器的沟通过程1.2 请求信息请求    浏览器在发送请求的时候，会发送具体的请求信息，由请求行，请求消息头，请求正文请求消息头    向服务器传递附加信息消息头含义 Accept 浏览器可以接受的MIME类型 ...

2018-03-01 23:04:37 5022 3

原创第二节：Tornado简介之输入输出

一、Tornado输入和输出的简单实例输出：从 Tornado 输出到浏览器我们可以使用 writeclass MainHandler(tornado.web.RequestHandler): def get(self): self.write('Hello Python')输入：可以通过get_argument 和 get_arguments来获...

2018-02-10 17:42:51 452

原创第一节：Tornado简介之安装和路由

一、tornado的安装（虚拟环境中）pip install tornado注：如果不是在虚拟环境中，则必须要 sudo apt install tornado二、路由2.1 简单的例子（00test.py文件）import tornado.ioloopimport tornado.webclass MainHandler(tornado.we...

2018-02-10 16:22:47 431

原创 Handler制作简单相册查看器

Handler类简介在Android平台中，新启动的线程是无法访问Activity里的Widget的，当然也不能将运行状态外送出来，这就需要有Handler机制进行信息的传递了，Handler类位于android.os包下，主要的功能是完成Activity的Widget与应用程序中线程之间的交互。开发带有Handler类的程序步骤如下： 1. 在Activity或Activity的W

2018-01-28 20:05:48 195

原创 163邮箱自动登陆python+selenium

python+selenium实现163邮箱自动登陆让我们先来预览一下代码运行效果吧：现在直接主题，首先分析163邮箱登陆页面的网页结构：（按F12或单击鼠标右键选择审查元素）1、定位到登陆框（注意登录框是一个iframe，如果不定位到iframe的话是无法找到之后的邮箱地址框和密码输入框的）2、定位到邮箱地址框（name=’email’）3、定位到密码输入框（

2018-01-28 19:52:01 793

原创 ScrollView滚动视图使用案例

ScrollView滚动视图使用案例 ##布局文件代码如下：LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" android:orientation="vertical" android:layout_width="fill_parent" android:l

2018-01-28 19:37:03 375

原创 Ubantu、虚拟机、MySQL下载地址

Ubantu、虚拟机、MySQL下载地址1. 服务器版ubantu下载 - 下载地址 - 注：带有LTS的版本是长期支持版版本说明 16.04 LTS 长期支持版本，自带py2，py3 17.10 短期版，只带py32. 虚拟机虚拟机类型特点 VMware Workstation Player 兼

2018-01-28 19:07:33 487

python通用爬虫代码（超简易版）

空空如也