![](https://img-blog.csdnimg.cn/046e0c24d87e45588c6aff630eed6538.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Python的Spark大数据和人工智能系列精讲
文章平均质量分 82
本系列专栏分成四个部分:第一部分 Python基础编程,第二部分 python爬虫和web开发实战 第三部分 python的大数据分析之Spark实战 第四部分 Python数据分析与人工智能;python的一站式学习,提供全天24小时在线答疑
sunnychou课堂
IT专业知识分享,做最优质的内容
展开
-
python基础编程之 11-4 Python 进行网络编程实现简单的聊天功能2
select最早于1983年出现在4.2BSD中,它通过一个select()系统调用来监视多个文件描述符的数组,当select()返回后,该数组中就绪的文件描述符便会被内核修改标志位,使得进程可以获得这些文件描述符从而进行后续的读写操作。 select目前几乎在所有的平台上支持,其良好跨平台支持也是它的一个优点,事实上从现在看来,这也是它所剩不多的优点之一原创 2022-10-11 13:48:22 · 201 阅读 · 0 评论 -
python基础编程之 11-3 Python 进行网络编程实现简单的聊天功能
终端的字符颜色是用转义序列控制的,是文本模式下的系统显示功能,和具体的语言无关。 转义序列是以ESC开头,即用\033来完成(ESC的ASCII码用十进制表示是27,用八进制表示就是033)原创 2022-10-11 13:46:38 · 283 阅读 · 0 评论 -
python基础编程之 11-2 Python 进行网络编程
socket只能发送字节类型的数据 所以在发送时要将发送的数据通过str.encode() 转为字节类型,接收时在通过str.decode()转为字符串。原创 2022-10-11 13:44:17 · 89 阅读 · 0 评论 -
python基础编程之 11-1 Python的网络编程基础
网络编程最主要的工作就是在发送端把信息通过规定好的协议进行组装包,在接收端按照规定好的协议把包进行解析,从而提取出对应的信息,达到通信的目的。原创 2022-10-11 13:42:00 · 95 阅读 · 0 评论 -
python基础编程之 10-3 Python多线程高级
运行python的时候,我们都是在创建并运行一个进程。像Linux进程那样,一个进程可以fork一个子进程,并让这个子进程exec另外一个程序。在Python中,我们通过标准库中的subprocess包来fork一个子进程,并运行一个外部的程序。原创 2022-10-11 12:55:31 · 83 阅读 · 0 评论 -
python基础编程之 10-2 Python多线程原理与实现
线程的划分尺度小于进程,使得多线程程序的并发性高。另外,进程在执行过程中拥有独立的内存单元,而多个线程共享内存,从而极大地提高了程序的运行效率。原创 2022-10-11 12:53:15 · 82 阅读 · 0 评论 -
python基础编程之 10-1 Python多进程原理与实现
进程就是一个程序在一个数据集上的一次动态执行过程。进程一般由程序、数据集、进程控制块三部分组成。我们编写的程序用来描述进程要完成哪些功能以及如何完成;数据集则是程序在执行过程中所需要使用的资源;进程控制块用来记录进程的外部特征,描述进程的执行变化过程,系统可以利用它来控制和管理进程,它是系统感知进程存在的唯一标志。原创 2022-10-11 12:50:15 · 56 阅读 · 0 评论 -
python基础编程之 9-4 mysql数据库扩展高级
**存储数据?**(1)文件(2)关系型数据库(mysql, oracle)—结构化存储(结构化数据,引入numpy,pandas)(3)非关系型数据库(redis, mongodb)---- 数据组织的方式并不是以一张二维表组织。(4)图片服务器(均匀小块存储 block 1M左右) (5)HDFS(大块存储,64M block) — 非结构化,数据分布式全量存储(6)视频服务器(几百兆 block)原创 2022-10-10 14:31:29 · 68 阅读 · 0 评论 -
python基础编程之 9-3 Redis介绍和使用
实现缓存的方式,有多种,本地内存缓存,数据库缓存,文件系统缓存。这里介绍使用Redis数据库进行缓存原创 2022-10-10 14:28:14 · 86 阅读 · 0 评论 -
python基础编程之 9-2 Python-ORM实战
ORM(object relational mapping), 就是对象关系映射,简单来说我们类似python这种面向对象的程序来说一切皆对象,但是我们使用的数据库却都是关系型的,为了保证一致的使用习惯,通过orm将编程语言的对象模型和数据库的关系模型建立映射关系,这样我们在使用编程语言对数据库进行操作的时候可以直接使用编程语言的对象模型进行操作就可以了,而不用直接使用sql语言。原创 2022-10-10 14:24:48 · 170 阅读 · 0 评论 -
python基础编程之 9-1 MySQL SQL语句大全
**SQL 语句分类****DDL(Data Definition Languages)语句:**数据定义语言,这些语句定义了不同的数据段、数据库、表、列、索引等数据库对象的定义。常用的语句关键字主要包括 create、drop、alter等。**DML(Data Manipulation Language)语句:**数据操纵语句,用于添加、删除、更新和查询数据库记录,并检查数据完整性,常用的语句关键字主要包括 insert、delete、udpate 和select 等。(增添改查)原创 2022-10-10 14:17:40 · 70 阅读 · 0 评论 -
python基础编程之 8-3 python的设计模式
设计模式(Design pattern)代表了最佳的实践,通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人员经过相当长的一段时间的试验和错误总结出来的。原创 2022-10-10 14:07:07 · 114 阅读 · 0 评论 -
python基础编程之 8-2 python的列表推导式
你一定听过这样一个说法,尽量使用列表推导式,而不是用list.append方法来初始化一个列表,那么究竟为何列表推导式会更快呢? 这是因为,列表推导式被编译后的字节码执行速度更快。python当然不是一门编译型语言,但是它还是要被解析成二进制的字节码才能被执行,执行它的正是python解释器。 python底层还是用C语言写的原创 2022-10-10 14:04:09 · 60 阅读 · 0 评论 -
python基础编程之 8-1 python的迭代器,生成器
**为何要引入迭代器?** 通过列表生成式,我们可以直接创建一个列表,但是,受到内存限制,列表容量肯定是有限的,而且创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了。 我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,从而节省大量的空间,在Python中,这种一边循环一边计算的机制,称为生成器:generator原创 2022-10-10 14:01:08 · 49 阅读 · 0 评论 -
python基础编程之 7-2 python的异常处理机制
当Python脚本发生异常时我们需要捕获处理它,否则程序会终止执行。python提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误1. 异常处理2. 断言(Assertions)原创 2022-10-10 13:42:01 · 564 阅读 · 0 评论 -
python基础编程之 7-1 python的面向对象编程
面向过程:面向处理,更多的是从计算机角度思考,注重计算每一个步骤,程序更像是一本cpu操作手册。面向对象:以日常生活的角度思考问题的解决,更接近人的思维方式,让人可以从更高的层面考虑系统的构建原创 2022-10-10 11:51:20 · 69 阅读 · 0 评论 -
python基础编程之 6-3 python的文件操作
文件的处理包括读文件和写文件,读写文件就是请求操作系统打开一个文件对象,然后,通过操作系统提供的接口从这个文件对象中读取数据(读文件),或者把数据写入这个文件对象(写文件)原创 2022-10-10 11:36:28 · 68 阅读 · 0 评论 -
python基础编程之 6-2 python的subprocess应用
运行python的时候,我们都是在创建并运行一个进程。像Linux进程那样,一个进程可以fork一个子进程,并让这个子进程exec另外一个程序。在Python中,我们通过标准库中的subprocess包来fork一个子进程,并运行一个外部的程序。原创 2022-10-09 11:22:28 · 83 阅读 · 0 评论 -
python基础编程之 6-1 python的装饰器-高级应用
装饰器函数的外部函数传入我要装饰的函数名字,返回经过修饰后函数的名字;内层函数(闭包)负责修饰被修饰函数。原创 2022-10-09 11:18:30 · 46 阅读 · 0 评论 -
python基础编程之 5-2 python的常用高阶函数
如果一个函数的参数是另外一个函数,那么这个函数就可以称为高阶函数map是系统内置函数,map函数接收两个参数,一个是函数,一个是可迭代对象(Iterable),map将传入的函数依次作用到序列的每个元素,并把结果作为新的Iterator返回。原创 2022-10-09 11:13:30 · 58 阅读 · 0 评论 -
python基础编程之 5-1 python的装饰器
python装饰器本质上就是一个函数,它可以让其他函数在不需要做任何代码变动的前提下增加额外的功能,装饰器的返回值也是一个函数对象(函数的指针)。 Python中装饰器采用的是类似java语言中的AOP(面向切面编程)思想。是属于python语法糖规则。 装饰器函数的外部函数传入我要装饰的函数名字,返回经过修饰后函数的名字;内层函数(闭包)负责修饰被修饰函数。原创 2022-10-09 11:10:52 · 84 阅读 · 0 评论 -
python基础编程之 4-3 python的常用模块
本文只列出常见的一些基本模块:time模块,os模块,sys模块,datetime模块等原创 2022-10-09 11:04:49 · 84 阅读 · 0 评论 -
python基础编程之 4-2 python的包和模块
python中,目录内的文件我们称之为模块,我们利用包和模块的目的是为了找到模块,也就是Python文件内的内容,主要是哪些内容,一般都是功能体、代码段比较封闭,主要有三个,一个是类、一个是函数,还有一个是变量对象。原创 2022-10-09 11:01:54 · 70 阅读 · 0 评论 -
python基础编程之 4-1 python的变量作用域
变量由作用范围来限制,按照作用域分类可分为: - 全局(global): 在函数外部定义- 局部(local):在函数内部定义命名空间比如有一个学校,有5个班级,在2班和4班中都有一个叫“小明”的同学,如果在学校的广播中呼叫“小明”时,2班和4班中的这2个人就纳闷了,你是喊谁呢!!!如果是“2班的小王”的话,那么就很明确了,那么此时的2班就是小王所在的范围,即命名空间原创 2022-10-09 10:07:11 · 47 阅读 · 0 评论 -
python基础编程之 3-3 python的函数控制
函数是组织好的,可重复使用的,用来实现单一,或相关联功能的代码段。 函数能提高应用的模块性,和代码的重复利用率。Python提供了许多内建函数,比如print()。也可以自己创建函数,这被叫做用户自定义函数。原创 2022-10-09 09:47:28 · 50 阅读 · 0 评论 -
python基础编程之 3-2 python的流程控制
我们知道Python中没有类似C++或者Java中的`switch...case`语句,我们可以使用多个`if...elif...else`进行模拟,但是这样的写法让代码看起来很凌乱,个人不是很推荐在代码中大量使用`if`语句。原创 2022-10-09 09:41:05 · 38 阅读 · 0 评论 -
python基础编程之 3-1 python的运算符和表达式
逻辑运算符可以用于构造复杂条件。逻辑运算符包括:- 逻辑与 and 对应汉语的意思是“并且” 、 “同时”- 逻辑或 or 对应汉语意思为"或者"- 逻辑非 not 对应汉语意思为”相反“原创 2022-10-09 09:33:07 · 87 阅读 · 0 评论 -
python基础编程之 2-3 python的内存管理深入浅出
python中万物皆对象,python的存储问题是对象的存储问题,并且对于每个对象,python会分配一块内存空间去存储它 Python的内存管理机制:引入计数、垃圾回收、内存池机制原创 2022-10-08 23:31:10 · 46 阅读 · 0 评论 -
python基础编程之 2-2 python的Collections容器库应用
Python拥有一些内置的数据类型,比如str, int, list, tuple, dict等, collections模块在这些内置数据类型的基础上,提供了几个额外的数据类型,非常实用!原创 2022-10-08 23:23:52 · 54 阅读 · 0 评论 -
python基础编程之 2-1 python数据类型和自省机制
变量定义:变量名 = 值(对象)name = '杨幂' #通过type就可以判断数据类型age = 20student = Student() #类的实例化对象自定义类型:类类是一种高级抽象,就是一种高级的数据类型,是对象的蓝图,就是用来定义你要用的对象的属性和行为的。原创 2022-10-08 23:20:57 · 48 阅读 · 0 评论 -
python基础编程之1-5 linux常用命令合集汇总
在 Linux 中,元数据中的 inode 号(inode 是文件元数据的一部分但其并不包含文件名,inode 号即索引节点号)才是文件的唯一标识而非文件名。 Ubuntu默认禁止使用root账户,在系统安装的时候,创建的第一个用户作为管理员(属于sudo组),其权限要低于root,但比普通用户高,普通用户只能处理自己创建的东西,管理员可以安装软件、修改日期、删除用户等。软链接与硬链接不同,若文件用户数据块中存放的内容是另一文件的路径名的指向,则该文件就是软连接。原创 2022-10-08 23:14:55 · 63 阅读 · 0 评论 -
python基础编程之1-4 linux操作系统安装和使用
uptime命令可以显示的信息显示依次为:现在时间、系统已经运行了多长时间、目前有多少登陆用户、系统在过去的1分钟、5分钟和15分钟内的平均负载。 man命令是Linux下的帮助指令,通过man指令可以查看Linux中的指令帮助、配置文件帮助和编程帮助等信息。系统默认的root用户是停用的,所有和系统相关指令均需使用sudo(super user do)命令执行,需要输入密码。操作系统是电脑的关键,管理电脑软硬件资源,直接运行在裸机上的,其他软件都必须在操作系统上运行。原创 2022-10-08 23:11:42 · 54 阅读 · 0 评论 -
python基础编程之1-3-python简介和变量等基础类型
Python是著名的“龟叔”Guido van Rossum在1989年圣诞节期间,为了打发无聊的圣诞节而编写的一个编程语言,第一个公开发行版发行于1991年。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KsuHgrOj-1665241382761)(programming.png)]python的特点:a.是一种解释性语言【开发过程中没有了编译的环节】b.是交互式的语言【可以直接互动执行Python程序】c.是面向对象的语言。原创 2022-10-08 23:06:09 · 77 阅读 · 0 评论 -
python基础编程之1-2 python环境搭建
在ubuntu 16.04版本中,系统默认安装了python 2.7和3.5版本,因为系统本身用到python的程序,删除默认的版本又担心系统有问题,那有没有办法同时在安装和使用python 3.6版本呢?find / -name “virtualenvwrapper.sh”, 例如本例中,我的脚本路径在/usr/local/bin/virtualenvwrapper.sh下,所以如下配置。每次要进入虚拟化环境,得记住虚拟化环境的目录,eg: ~/python3.6_env才行。原创 2022-10-08 22:58:09 · 68 阅读 · 0 评论 -
python基础编程之1-1 构建虚拟开发环境
VirtualBox可在Windows,Linux,Macintosh和Solaris主机上运行,并支持大量客户操作系统,包括但不限于Windows(NT 4.0,2000,XP,Server 2003,Vista,Windows 7,Windows 8,Windows 10 ),DOS / Windows 3.x,Linux(2.4,2.6,3.x和4.x),Solaris和OpenSolaris,OS / 2和OpenBSD。3 多个相互隔离开发环境。1 统一开发环境。原创 2022-10-08 22:57:05 · 225 阅读 · 1 评论