- 博客(39)
- 收藏
- 关注
RSS订阅原创 Python学习之Docker容器
一、Docker容器学习目标:掌握Docker基础知识，能够理解Docker镜像和容器之间的概念完成Docker的安装与启动掌握Docker镜像与容器相关命令掌握Tomcat、Nginx等软件的常用应用的安装掌握Docker迁移与备份相关命令能够运用Dockerfifile编写创建容器的脚本能够搭建与使用Docker私有仓库二、Docker简介1 .什么是虚拟化在计算机中，虚拟化(英文: Virtualization)是一种资源管理技术，是将计算机的各种实体资源(如: 服务器、网络、内存及
2020-05-24 17:14:42
671
原创 Python学习之数据分析库二（Pandas）
一、什么是Pandaspandas 是基于NumPy的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。它是使Python成为强大而高效的数据分析环境的重要因素之一。有关Pandas的更多介绍网站：https://pandas.pydata.org/二、安装Pandas豆瓣源快速安装：pip install -i https://pypi.douba
2020-05-19 10:14:01
735
原创 Python学习之数据分析库一（Numpy）
一、关于Numpy1.什么是Numpy?NumPy（Numerical Python）是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list structure)结构要高效的多（该结构也可以用来表示矩阵（matrix）），支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、矢量处理，以及精密的运算库。专为进行严格的数字处理而
2020-05-19 09:59:41
502
原创 Python爬虫入门五（Scrapy爬虫框架）
一、Scrapy架构流程1.简介Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。Scrap，是碎片的意思，这个Python的爬虫框架叫Scrapy。2.优势用户只需要定制开发几个模块， 就可以轻松实现爬虫, 用来抓取网页内容和图片， 非
2020-05-08 22:57:13
332
原创 Python爬虫入门四（Ajax&selenium爬虫）
一、什么是AjaxAjax(Asynchronous JavaScript and XML)异步的JS和XML。原理是: 利用JS在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。AJAX = 异步 JavaScript 和 XML。AJAX 是一种用于创建快速动态网页的技术。通过在后台与服务器进行少量数据交换，AJAX 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。传统的网页（不使用 AJAX）如果需要更新内容，必需重载整
2020-05-08 22:50:22
411
原创 Python爬虫入门三（网络数据解析）
一、正则表达式1.学习正则表达式的原因爬虫一共四个主要步骤：明确目标 (要知道你准备在哪个范围或者网站去搜索)爬 (将所有的网站的内容全部爬下来)取 (去掉对我们没用处的数据)处理数据（按照我们想要的方式存储和使用）正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个模式(规则)的文本。2.什么是正则表达式正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个模式(规则)的文本。 正则表达式测试工具: http://tool.oschina.net/regex/正则表达式是
2020-05-08 22:46:12
227
原创 Python爬虫入门二（网络数据采集）
一、网络数据采集1.什么是网络数据采集“网络数据采集”是指利用互联网搜索引擎技术实现有针对性、行业性、精准性的数据抓取，并按照一定规则和筛选标准进行数据归类，并形成数据库文件的一个过程。2.网络数据采集的特点支持自定义表单。支持自适应采集。支持集群采集。支持各种报表导出。支持仿人工式的随机采集数据。支持自定义阅读模板。支持登陆、代理采集。支持各种列表分页采集。支持各种内容分页采集。支持各种排重过滤。各种采集日志和采集源日志监控。支持采集网站、采集源管理。支持采集图片、附件、音
2020-05-08 22:21:34
899
原创 Python爬虫入门一（爬虫基础）
一、通用爬虫和聚焦爬虫1.什么是网络爬虫？网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。根据使用场景，网络爬虫可分为：通用爬虫 和 聚焦爬虫两种。1、通用爬虫通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为门户站点搜索引擎和大型 Web 服务提供商采集数据。 由于商业原
2020-05-08 22:14:20
1198
原创 爬虫——正则表达式 & XPath & BeautifulSoup
爬虫具有四个主要步骤：明确目标 (要知道你准备在哪个范围或者网站去搜索)爬 (将所有的网站的内容全部爬下来)取 (去掉对我们没用处的数据)处理数据 (按照我们想要的方式存储和使用)在前面我们通过047_爬虫_网络数据采集_requests库以及案例048_爬虫案例_360搜索信息爬取了解了明确目标和爬的过程，但是对于爬下来的数据显然存在一部分需要的一部分不需要的问题。所以，进一步的数据解...
2020-04-23 10:09:15
322
原创 爬虫——百度图片爬取
通用爬虫和聚焦爬虫根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种。通用网络爬虫：是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分，是从互联网中搜集网页、采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。主要目的是将互联网上的网页下载到本地，形成一个互联网内容...
2020-04-23 09:56:26
1075
1
原创 http相关概念
HTTP 协议是什么? 工作原理是什么?首先，HTTP 协议是什么？HTTP(HyperText Transfer Protocol, 超文本传输协议) 是一种用于分布式、协作式和超媒体信息系统的应用层协议。HTTP是万维网的数据通信的基础。HTTP是客户端终端（用户）和服务器端（网站）请求和应答的标准（TCP）。通过使用网页浏览器、网络爬虫或者其它的工具，客户端发起一个HTTP请求到服...
2020-04-23 09:53:37
300
原创 PythonWeb之Query入门
一、jQuery介绍1、什么是jQueryjQuery是一个快速、简洁的JavaScript框架，是继Prototype之后又一个优秀的JavaScript代码库（或JavaScript框架）。jQuery设计的宗旨是“write Less，Do More”，即倡导写更少的代码，做更多的事情。它封装JavaScript常用的功能代码，提供一种简便的JavaScript设计模式，优化HTML文档...
2020-02-24 22:54:24
506
原创 PythonWeb前端之JavaScrip
一、Javascript简介1、什么是JavascriptJavaScript（简称“JS”） 是一种具有函数优先的轻量级，解释型或即时编译型的编程语言。虽然它是作为开发Web页面的脚本语言而出名的，但是它也被用到了很多非浏览器环境中，JavaScript 基于原型编程、多范式的动态脚本语言，并且支持面向对象、命令式和声明式（如函数式编程）风格。JavaScript在1995年由Netsca...
2020-02-24 22:49:10
151
原创 Python之Web前端（02—CSS层叠样式表
一、CSS介绍1、定义CSS:层叠样式表(英文全称：Cascading Style Sheets)是一种用来表现HTML（标准通用标记语言的一个应用）或XML（标准通用标记语言的一个子集）等文件样式的计算机语言。CSS不仅可以静态地修饰网页，还可以配合各种脚本语言动态地对网页各元素进行格式化。CSS 能够对网页中元素位置的排版进行像素级精确控制，支持几乎所有的字体字号样式，拥有对网页对象和...
2020-02-17 17:45:16
611
原创 python前端——HTML超文本标记语言、CSS层叠样式表
01、Web前端开发介绍1、Web前端开发概述1）什么是Web开发?前端开发是创建Web页面或app等前端界面呈现给用户的过程，通过HTML，CSS及JavaScript以及衍生出来的各种技术、框架、解决方案，来实现互联网产品的用户界面交互 。它从网页制作演变而来，名称上有很明显的时代特征。在互联网的演化进程中，网页制作是Web1.0时代的产物，早期网站主要内容都是静态，以图片和文字为主...
2020-02-17 17:31:41
803
原创 面试常考的问题总结（主要关于计算机网络和python语法）
知识难点归纳:计算机网络相关知识点整理:OSI，TCP/IP，五层协议的体系结构，以及各层协议的作用?一、OSI七层模型OSI七层协议模型主要是：应用层（Application）、表示层（Presentation）、会话层（Session）、传输层（Transport）、网络层（Network）、数据链路层（Data Link）、物理层（Physical）。二、TCP/IP四层模型...
2020-02-09 18:22:19
279
原创 网络编程（包含TCP/IP协议/套接字）
01、网络通信概述1、什么是网络？简单意义上来说，网络就是⼀种辅助双⽅或者多⽅能够连接在⼀起的⼯具。官方对于网络的定义为：网络是由若干节点和连接这些节点的链路构成，表示诸多对象及其相互联系。在1999年之前，人们一般认为网络的结构都是随机的。但随着Barabasi和Watts在1999年分别发现了网络的无标度和小世界特性并分别在世界著名的《科学》和《自然》杂志上发表了他们的发现之后，人们...
2020-02-08 09:59:22
1206
原创 python进阶之多任务编程（包含进程&线程&协程）
一、多任务编程1、多任务的概念？现实⽣活中的多任务：有很多的场景中的事情是同时进⾏的，⽐如开⻋的时候 ⼿和脚共同来驾驶汽⻋，再⽐如唱歌跳舞也是同时进⾏的。即就是操作系统可以同时运⾏多个任务。打个 ⽐⽅，你⼀边在⽤浏览器上⽹，⼀边在听MP3，⼀边在⽤Word赶作业，这就是多任务，⾄少同时有3个任务正在运⾏。还有很多任务悄悄地在后台同时运 ⾏着，只是桌⾯上没有显示⽽已。现在，多核CPU已经非常...
2020-02-06 23:52:03
216
原创 MySql中where与having的对比
mysql的group by与having 字句;与where的对比举例：我们如果就是查询每个部门成绩大于89的员工数，可以这样写：SELECT dept,COUNT(user_name) FROM ec_uses WHERE score>89 GROUP BY dept;对这个查询的过程进行分析，其实是：先查出绩效成绩大于89的员工记录，然后再用count聚合函数统计部门的人数，也就...
2020-01-11 22:10:00
230
原创 python 内存管理机制
一、 对象池1、python内存管理机制是什么?1). 由于python中万物皆对象，内存管理机制就是对象的存储问题，Python会分配一块内存空间去存储对象。对于整数和短小的字符等，python会执行缓存机制，即将这些对象进行缓存，不会为相同的对象分配多个内存空间3). 容器对象，如列表、元组、字典等，存储的其他对象，仅仅是其他对象的引用，即地址，并不是这些对象本身2、小整数对象池...
2020-01-10 23:14:24
217
原创 python 面向对象进阶
一、元类1.类也是对象元类是类的类，是类的模板元类的实例为类，正如类的实例为对象。2.类的本质是对象, 于是可以对类做如下的操作:你可以将它赋值给一个变量你可以拷⻉它你可以为它增加属性你可以将它作为函数参数进行传递方法一: 通过分支语句动态地创建类因为类也是对象,运行时在函数中使用class关键字动态的创建类。当使用class关键字时,Python解释器自动创建这个对象...
2020-01-07 17:17:50
82
原创 python魔术方法
在Python中，所有用"__"包起来的方法，都称为【魔术方法】(eg: len, init)。魔术方法一般是为了让显示器调用的，你自己并不需要调用它们。1.下面便是python中常见的魔术方法和其功能：2 查看属性dir 返回类或者对象的所有成员名称列表。dir() 函数就是调用__dir__()。1). 如果dir([obj]) 参数obj包含方法 dir()，该方法将被调用。...
2020-01-07 15:58:00
946
原创 python 面向对象编程封装、继承、多态的特性
面向对象编程三大特性（封装、继承、多态）在介绍面向对象编程三大特性之前，我们首先需要清楚什么是对象和类,那么先来介绍一下对象和类的概念。注意：C语言属于面向过程的语言，而C++、JAVA、python都属于面向对象的语言。一、 对象和类1.定义：==类（Class）==是现实或思维世界中的实体在计算机中的反映，它将数据以及这些数据上的操作封装在一起。是一个抽象画的概念。==对象(Obj...
2020-01-02 23:36:02
115
原创 python初学之面向对象编程介绍
大致介绍了面向过程编程、函数式编程、面向对象编程。一、面向过程编程1.面向过程定义1）“面向过程”(Procedure Oriented)是一种以过程为中心的编程思想。分析出解决问题所需要的步骤，然后用函数把这些步骤一步一步实现，使用的时候一个一个依次调用就可以了。2）面向对象的方法也是含有面向过程的思想。面向过程最重要的是模块化的思想方法。比如拿学生早上起来这件事说明面向过程，粗略的可...
2020-01-02 23:23:27
92
原创 python中的json模块
JSON 函数使用 JSON 函数需要导入 json 库：import json。json.dumpsjson.dumps 用于将 Python 对象编码成 JSON 字符串。语法json.dumps(obj, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, cls=None, indent...
2019-12-17 11:40:21
173
原创 python中的os模块
os.makedirs(‘dirname1/dirname2’) 可生成多层递归目录os.removedirs(‘dirname1’) 若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推os.mkdir(‘dirname’) 生成单级目录；相当于shell中mkdir dirnameos.rmdir(‘dirname’) 删除单级空目录，若目录不为空...
2019-12-17 11:33:58
107
原创 python文件操作
open() 方法Python open() 方法用于打开一个文件，并返回文件对象，在对文件进行处理过程都需要使用到这个函数，如果该文件无法被打开，会抛出 OSError。注意：使用 open() 方法一定要保证关闭文件对象，即调用 close() 方法。open() 函数常用形式是接收两个参数：文件名(file)和模式(mode)。open(file, mode='r')完整的语法格...
2019-12-17 11:31:25
238
原创 Python 中的异常及其处理
1、为什么要有异常处理呢？下面是一个例子num = eval(input("请输入一个数字"))print(num ** 2)这个代码很简单，让用户输入一个数字，然后输出它的平方。但是如果用户输入的不是数字，而是一个字符呢？这时，程序就会报错，但是这样对于那些不熟悉程序的人，在使用这款 软件的时候，他不小心输入了一个字符，而程序却像图片中那样终止程序，并且输出一段不知道意思的文字，...
2019-12-17 11:03:27
366
1
原创 python集合操作
集合（set）是一个无序的不重复元素序列。可以使用大括号 { } 或者 set() 函数创建集合，注意：创建一个空集合必须用 set() 而不是 { }，因为 { } 是用来创建一个空字典。创建格式：parame = {value01,value02,...}或者set(value)>>>basket = {'apple', 'orange', 'apple', '...
2019-12-14 21:38:10
430
原创 python函数中的可变参数和关键字参数
知识点：定义可变参数时，在参数前面加上 * 号，表示一个不定长的可变参数；调用函数时，由于是可变参数，参数个数可随意指定，比如 sum_of_squares(1,2,3,4,5)，甚至可以为空；调用函数时，也可使用一个列表或者元组，如果 a 是一个列表或者元组，调用方式为：sum_of_squares(*a)；使用 list(range(1,2020)) 可以生成一个 1 到 2019 的...
2019-12-14 21:25:28
308
原创 函数与变量的作用域
当python运行到并执行def语句时，函数就会被创建；函数的主体代码是在函数被调用的时候执行。python 中的作用域：L：local，局部作用域，即函数中定义的变量；E：enclosing，嵌套有一个函数的该级函数的局部作用域，仍然属于局部作用域范畴。G：global，全局变量，就是模块级别定义的变量，一个.py文件就是一个模块。B：built-in，系统固定模块里面的变量，比如in...
2019-12-14 21:19:11
342
转载 如何将编写的程序快速制作成exe小程序
第一步：将在python3.7或者vscode或者pycharm里面编写好的代码另存到自己清楚的位置，命名以.py 结束。第二步：在cmd对话框输入命令：pip install pyinstaller 安装最新版本的pyinstaller做准备。第三步：在cmd对话框里面输入命令：pyinstaller xxx.py即可生成exe格式。然后找到文件存放的位置，双击图标就可以 不显示程序内容 ...
2019-12-05 19:38:29
4746
原创 系统延时及定时任务
1.系统延时任务at命令发起的延时任务都时一次性的at + time[root@demo ~]# at 11:11at> rm -fr /mnt/* ##延迟动作at> ##ctrl+d表示发起动作job 6 at Tue Aug 1 11:11:00 2017at -l | atq #查看当前任务atrm | at -d #取消指定任务at -c...
2019-10-23 15:10:29
78
原创 文件传输优化
文件传输优化scp (Secure Copy) 基于 SSH 登陆，允许 Linux 之间进行安全的远程拷贝目录或文件所以在使用scp前：需要在linux下安装ssh服务安装ssh的文章入口使用方法：远程拷贝分为：（1)从本地拷贝到远程服务器 (2)从远程服务器拷贝到本地（1)从本地拷贝到远程服务器 :拷贝文件： scp 文件名 用户名@计算机IP（或者计算机名称）:远程路径拷贝...
2019-10-17 23:50:19
208
原创 国庆期间课程总结
国庆期间课程总结Vim常用方法详解：三种方式：命令模式、插入模式、退出模式命令模式下配置 vim 的工作方式：:set nu 行号添加:set nonu 取消行号:set mouse=a 添加鼠标选择:set cursorline 行线显示注意： 以上操作只在当前打开的 vim 中生效如果设定永久生效编辑文件 /etc/vimrcvim 命令模式下关键字搜索/ 关键字n 向...
2019-10-11 00:40:43
84
原创 命令行使用技巧test
用student用户登陆系统图形界面打开一个bash修改student的密码，把密码更新成123456显示“/usr/bin/clean-binary-files”的文件类型统.计“/usr/bin/clean-binary-files”的文件大小显示“/usr/bin/clean-binary-files”的文件类型统计“/usr/bin/clean-binary-files”...
2019-10-11 00:21:55
81
原创 国庆期间课程总结
国庆期间课程总结Vim常用方法详解：三种方式：命令模式、插入模式、退出模式命令模式下配置 vim 的工作方式：:set nu 行号添加:set nonu 取消行号:set mouse=a 添加鼠标选择:set cursorline 行线显示注意： 以上操作只在当前打开的 vim 中生效如果设定永久生效编辑文件 /etc/vimrcvim 命令模式下关键字搜索/ 关键字n 向...
2019-10-10 22:56:52
115
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人