- 博客(48)
- 收藏
- 关注
RSS订阅原创 数据分析——KNN算法
KNN是通过测量不同特征值之间的距离进行分类。它的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。下面通过一个简单的例子说明一下：如下图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果
2020-09-22 10:10:25
992
原创 数据分析——KMeans聚类算法
最近做一个数据分析的项目，用到KMeans聚类算法，说之前，先给大家讲一个小故事。有四个牧师去郊区布道，一开始牧师们随意选了几个布道点，并且把这几个布道点的情况公告给了郊区所有的居民，于是每个居民到离自己家最近的布道点去听课。听课之后，大家觉得距离太远了，于是每个牧师统计了一下自己的课上所有的居民的地址，搬到了所有地址的中心地带，并且在海报上更新了自己的布道点的位置。牧师每一次移动不可能离所有人都更近，有的人发现A牧师移动以后自己还不如去B牧师处听课更近，于是每个居民又去了离自己最近的布道点……就这
2020-09-07 16:39:18
1232
原创 Python—scrapy redis超全源码解析！
Scrapy-redis的源码解析Scrapy-redis的官方文档写的比较简洁，没有提及其运行原理，所以如果想全面的理解分布式爬虫的运行原理，还是得看scrapy-redis的源代码才行。1.1.connection.py2....
2020-04-14 16:14:47
665
原创 python—Qt Designer的创建
安装PyQt5和PyQt5-tools国内网络容易被墙，pip下载包下载缓慢，并且经常超时报错。用国内源就可以解决相应问题pip install -i https://pypi.tuna.tsinghua.edu.cn/simple PyQt5pip install -i https://pypi.tuna.tsinghua.edu.cn/simple PyQt5-toolsPyChar...
2020-04-07 18:43:12
272
原创 python—scrapy项目的创建
打开pycharm用cd切换到要创建爬虫项目的文件夹然后创建项目scrapy startproject <项目名>这样显示就创建成功了然后切到项目里 创建爬虫文件 我们拿百度举例scrapy genspider baidu baidu.com这样就建好了就可以在这个py文件写爬虫代码还需要注意的是在setting文件里要修改这个协议还有 打开这几行命令...
2020-03-17 11:17:16
4560
原创 pycharm下载库的万能源！
不说废话 直接上干货！！！pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 库名
2020-03-11 20:14:42
579
原创 python—Scrapy框架
一、Scrapy简介Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框 架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。 Scrapy 使用了 Twisted ['twɪstɪd] (其主要对手是Tornado)异步网络框架来处理网络通 讯，可以加快我们的下载速度，不用自己去实现异...
2020-03-11 20:12:03
536
原创 mysql基本术语和操作
1.数据库基本概念：事务：将一组有序的增删改操作,看作一个独立执行的单元,这一组操作要么都成功,只有有一组失败这一组操作都失败,数据库执行事务回滚.A要给B转帐A账户中的钱-500B账户中的前+500转账过程中俩个操作看成一个执行单元,只有有一个环节出错转账就失败,当俩个操作都成功转账操作才会成功*原子性:*把事物看作成最小执行单元,不可分割,要么都成功,要么都失败*一致性:*事物...
2020-03-04 16:11:38
416
原创 python—你不知道的反爬虫措施！
1.反爬虫是因为爬虫才诞生的，想要很好的运用反爬虫，就要先清楚爬虫及爬虫机制。先了解一下爬虫，反爬虫的概念，如下：爬虫：使用任何技术及手段，批量抓取网站信息的一种方法，且关键在于 批量。反爬虫：即为使用任何技术及手段，阻止被人 抓取自己网站信息的一种方法，关键在于批量和减少阻止过程中的误伤。2.反爬虫是针对爬虫设计的，一般架构如下：对请求进行数据统计等预处理，便于识别爬虫...
2020-02-26 18:09:13
456
原创 python—正则表达式
概念正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个模式(规则) 的文本。正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字 符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表 达对字符串的一种过滤逻辑。给定一个正则表达式和另一个字符串，我们可以达到如下的目的：∙ 给定的字符串是否符合正则表达式的过滤逻辑（“匹配”）；∙...
2020-02-19 19:39:38
344
原创 python—cookie和session
概念：一、cookie：在网站中，http请求是无状态的。也就是说即使第一次和服务器连接后并且登录成功后，第二次请求服务器依然不能知道当前请求是哪个用户。cookie的出现就是为了解决这个问题，第一次登录后服务器返回一些数据（cookie）给浏览器，然后浏览器保存在本地，当该用户发送第二次请求的时候，就会自动的把上次请求存储的cookie数据自动的携带给服务器，服务器通过浏览器携带的数...
2020-02-18 19:18:28
1519
原创 python—HTTP请求的Get和Post方法
HTTP有两部分组成：请求与响应HTTP请求格式：在HTTP请求中，第一行必须是一个请求行（request line），用来说明请求类型、要访问的资源以及使用的HTTP版本。紧接着是一个首部（header）小节，用来说明服务器要使用的附加信息。在首部之后是一个空行，再此之后可以添加任意的其他数据[称之为主体（body）我们再来说说Get和PostGET是从服务器上获取数据，POST是向服务...
2020-02-14 19:22:32
652
原创 python—协程
协程的概念：协程： 协助程序，线程和进程都是抢占式特点，线程和进程的切换我们是不能参与的。而协程是非抢占式特点，协程也存在着切换，这种切换是由我们用户来控制的。协程主解决的是IO的操作。协程，又称微线程，纤程。英文名Coroutine。协程的优点：优点1: 协程极高的执行效率。因为子程序切换不是线程切换，而是由程序自身控制，因此，没有线程切换的开销，和多线程比，线程数量越多，协...
2020-02-13 18:47:59
318
原创 python—生产者与消费者模型
再说之前大家要知道：生产者消费者模型当中有两大类重要的角色，一个是生产者（负责造数据的任务），另一个是消费者（接收造出来的数据进行进一步的操作）。为什么要使用生产者消费者模型？在并发编程中，如果生产者处理速度很快，而消费者处理速度比较慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个等待的问题，就引入...
2020-02-13 18:22:22
363
原创 python—互斥锁与死锁
互斥锁一.概念原理当多个线程几乎同时修改某一个共享数据的时候，需要进行同步控制线程同步能够保证多个线程安全访问竞争资源，最简单的同步机制是引入互斥锁。互斥锁为资源引入一个状态：锁定/非锁定。某个线程要更改共享数据时，先将其锁定，此时资源的状态为“锁定”，其他线程不能更改；直到该线程释放资源，将资源的状态变成“非锁定”，其他的线程才能再次锁定该资源。互斥锁保证了每次只有一个线程进行写入操作...
2020-02-12 18:31:31
253
原创 python—线程（1）
===================================好久么更新了 今天终于重回大家视野希望大家在特殊时期尽量不要出门！武汉必胜！！ 中国必胜！！！===================================说线程之前先来说说进程池吧当需要创建的子进程数量不多时，我们可以直接利用multiporcessing中的Process动态生成多个进程，但是如果...
2020-02-11 20:28:52
209
原创 python—队列（Queue）
队列为：先进先出[FIFO]队列 (queue) 是一种特殊的线性表，特殊之处在于它只允许在表的前端（front）进行删除操作，而在表的后端（rear）进行插入操作，和栈一样，队列是一种操作受限制的线性表。进行插入操作的端称为队尾，进行删除操作的端称为队头。...
2020-01-08 08:46:25
594
原创 python—进程和多进程
1. 什么是进程我们想通过网易云听歌，具体的过程应该是先找到酷我应用程序，然后双击就会播放音乐。当我们双击的时候，操作系统将程序装载到内存中，操作系统为它分配资源，然后才能运行。运行起来的应用程序就称之为进程。也就是说当程序不运行的时候我们称之为程序，当程序运行起来他就是一个进程。通俗的理解就是不运行的时候是程序，运行起来就是进程。程序和进程的对应关系是:程序只有一个，但是进程可以有多个...
2020-01-06 20:28:21
529
2
原创 python—HTTP协议详解
1、HTTP协议简介超文本传输协议（英文：HyperText Transfer Protocol，缩写：HTTP）是一种用于分布 式、协作式和超媒体信息系统的应用层协议。HTTP是万维网的数据通信的基础。HTTP的发展是由蒂姆∙伯纳斯-李于1989年在欧洲核子研究组织（CERN）所发起。HTTP的 标准制定由万维网协会（World Wide Web Consortium，W3C）和互联网...
2020-01-06 20:04:06
737
1
原创 python—socket讲解（2）
tcp实现socket聊天功能import socket#1.创建服务器套接字tcp_server = socket.socket(type=socket.SOCK_STREAM)#2.绑定端口ip_port = ("10.3.14.59",9000)tcp_server.bind(ip_port)#3.将socket创建的套接字变成被动类型，等待客户连接请求tcp_serve...
2020-01-05 20:25:11
311
1
原创 python—socket讲解（1）
Python 提供了两个基本的 socket 模块。第一个是 Socket，它提供了标准的 BSD Sockets API。第二个是 SocketServer， 它提供了服务器中心类，可以简化网络服务器的开发。实现聊天功能：import socket#1.创建一个服务器socket对象client = socket.socket(type = socket.SOCK_DGRAM)...
2020-01-05 20:19:21
338
1
原创 python面试题tcp三次握手四次挥手
三次握手：第一次握手： Client端发送位码为SYN=1,随机产生seq number=J的数据包到服务器，Server端收到数据包后，由SYN=1判断出 Client端要求连接；此时Client端处于SYN_SENT的状态。第二次握手： Server端收到请求后要向Client端发送确认连接的信息，于是，Server端向Client端发送一个ACK=1,SYN=1,ack number=...
2020-01-02 20:02:13
699
1
原创 python——网络编程详解
广域网，局域网：1、局域网局域网(Local Area Network)，简称LAN，是指在某一区域内由多台计算机互联成的计算机组。“某一区域”指的是同一办公室、同一建筑物、同一公司和同一学校等，一般是方圆几千米以内。局域网可以实现文件管理、应用软件共享、打印机共享、扫描仪共享、工作组内的日程安排、电子邮件和传真通信服务等功能。局域网是封闭型的，可以由办公室内的两台计算机组成，也可以由...
2020-01-02 19:38:57
519
1
原创 Python—多态
Python中的多态通常和继承在一起说，继承、多态、封装是Python面向对象的三大特性。多态：声明的形参的时候是父类对象，实际运行的时候是子类对象特性：1、多态可以增加代码的灵活度2、以重写和继承父类方法为前提3、不会影响到类内部设计下面拿例子具体给大家解释：class Pay(object): def pay(self,money):passclass Alipay(...
2019-12-29 20:11:07
305
原创 Python常用设计模式（2）
上次说了常用设计模式中的单例模式和工厂模式，今天说说策略模式和观察者模式。3. 策略模式策略指的就是为了达到某一目的而采取的多种手段或者方法。为了实现软件设计，对象可能会用到多种多样的算法(逻辑)。这些算法甚至会经常改变。如 果将这些算法都硬编码到对象中，将会使得对象本身变得臃肿不堪。策略模式很好的实现了将算法与本身对象解耦，从而避免出现上述的问题。因此策略模式可以定义为： 定义一系列算...
2019-12-26 19:33:23
345
原创 python常用设计模式（1）
一、设计模式设计模式来源于建筑行业,中西方建筑各有自己的风格;每种风格都有自己的建筑方法(套 路); 只要按照不同风格的建筑方法（套路）就能建成不同风格的建筑;简单的说设计模式就是一 种(方法)套路;再比如肯德基麦当劳快餐店为什么全球的口味都一样呢？就是做食品的套路相 同(炸鸡块多长时间都是固定的)。 程序中设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件...
2019-12-25 19:36:20
232
原创 Python中os.path和sys.path的区别
os.path 是一个模块，用来处理目录、路径相关的模块。sys.path 是一个列表，返回解释器相关的目录列表、环境变量、注册表等初始化信息python中os.path 与sys.path看别人写的代码，会发现两个和路径设置有关的模块 os 和sys。我对这两个模块也不是特别了解。只是记录一下自己看到的，学到的。python 中我们会使用这两个模块和文件路径， 创建文件 之类的 操作。...
2019-12-24 20:13:42
562
原创 Python高频面试题及其答案
命名空间和作用域的关系：命名空间定义了在某个作用域内变量名和绑定值之间的对应关系，命名空间是键值对的集合，变量名与值是一一对应关系。作用域定义了命名空间中的变量能够在多大范围内起作用。装饰器函数的作用？写一个装饰器程序：在不修改原函数及其调用方式的情况下对原函数功能进行扩展def outer(f): def inner(): print("**") ...
2019-12-24 19:35:39
359
原创 python——异常
一、异常异常是指在语法正确的前提下，程序运行时报错就是异常。 当Python脚本发生异常时我们需要捕获处理它，否则程序会终止执行。二、异常捕获1.基本语法语法格式执行流程try: …代码1…代码2… …代码3… except 异常类型： …处理异常代码…程序从上往下执行，先执行try中 的代码，如果代码1报错，则不会 执行代码2和3，执行执行 exception...
2019-12-22 20:59:45
223
原创 python文件操作
一、文件介绍1、什么是文件狭义说：文本文件；广义说：超文本文件, 图片，声音，超链接，视频。2、文件的分类 文件大体上可以分为两类，文件文件和二进制文件。3、文件的作用 使用文件的目的是把一些数据存储存放起来。4、使用文件的流程 我们操作一个文件的流程一般是 打开文件，读写文件，关闭文件。通过程序操作文件 的流程也是这三步，首先打开文件，然后读写文件，最后关闭文件。二、读写文件简单操...
2019-12-19 20:50:02
193
1
原创 python——魔术方法
一、常用魔术方法1.del 销毁魔术方法触发时机：当一个对象在内存中被销毁的时候自动执行参数：至少有一个self，接收对象返回值：无作用：在对象销毁的时候做一些操作注意：程序自动调用此方法，不需要我们手动调用。class Cat: def __init__(self,name): self.name=name print("{}来了".form...
2019-12-18 20:27:11
262
原创 python——继承
一、继承特性1、什么是继承继承就是让类和类之间产生父子关系，子类可以拥有父类的静态属性和方法。[继承就是可以获取另外一个类中的静态属性和普通方法。(并非所有成员)]。在python中，新建的类可以继承一个或多个父类，父类又可称为基类或超类，新 建的类称为派生类或子类。 注意：python中的继承分为：单继承和多继承。2、继承中的子类和父类的概念父类:用于被继承的类，称之为父类，也叫做基...
2019-12-17 17:58:57
259
原创 python——装饰器和@property装饰器
装饰器1、装饰器函数的本质：一个闭包函数2、装饰器函数的作用: 在不修改原函数及其调用方式的情况下对原函数功能进行扩展3、语法糖 格式：@装饰器名称4、创建带返回值的装饰器5、创建传递参数的装饰器6、装饰器的固定格式def wrapper(f): def inner(*args,**kwargs): ret=f(*args,**kwargs) ...
2019-12-16 19:40:31
246
原创 python——面向对象（1）
一、面向对象编程面向对象编程（英语：Objectoriented programming，缩写：OOP）是一种编 程理念，这种编程理念更符合我们人的逻辑思维。使用面向对象编程可以提高我 们的开发速度和代码的重用率。面向对象的开发非常适合大型程序开发，开发速 度和后期维护都比过程化开发要好很多。二、面向对象和面向过程理解 面向过程和面向对象都是用来解决问题的，只是解决问题的思路不同。 面向过程...
2019-12-14 12:57:41
306
原创 python——time模块
time模块小练习：练习题1:计算从出生到现在过了多少秒import time #定义时间模块time_now=time.time() #现在时间# print(time_now)birth_day=time.mktime(time.strptime("2000-03-02 8:05:00","%Y-%m-%d %H:%M:%S")) #出生时间转时间戳dif_ti...
2019-12-13 10:04:38
192
原创 python模块
模块的概念介绍：一个包含python代码的文件就是一个模块。使用模块的作用：1.现在程序开发文件比较大，都放在一个文件中维护不方便，拆分成多个文件方 便维护与管理2.模块可以增加代码的重用率 8.1.2 创建模块模块本身就是一个文件，所有py代码都可以在文件中直接书写。不过我们开发 共用模块时，最好在模块中书写以下内容。变量 ...
2019-12-12 21:20:03
160
原创 python函数进阶
一，函数的参数类型不可变类型参数：整数、字符串、元组。fun（a）内部修改 a的值，只是修改另一个复制的对象，不会影响 a 本身。可变类型：列表，字典。如 fun（la）， 则是将 la 真正的传过去，修改后fun外部的la也会受影响二，命名空间命名空间指的是保存程序中的变量名和值的地方。命名空间的本质是一个字典， 用来记录变量名称和值。字典的key是变量的名称，字典的value对于的...
2019-12-11 22:25:56
144
原创 python——函数
定义：函数是组织好的，可重复使用的，用来实现独立功能的代码段。函数可以提高程序代码的重用率。不带参数和返回值函数def 函数名()： …代码…带参数的函数def 函数名(参数1，参数2，…)： …代码…带参数和返回值函数def 函数名(参数1，参数2，…)： …代码… return 值注意:(1).函数名称必须遵循 标识符 规则 数字，字母，下划线，并且...
2019-12-10 20:04:21
192
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人