- 博客(65)
- 收藏
- 关注
RSS订阅
原创 常见python面试题目整理（持续更新）
1.列举 Python2和Python3的区别？1）.输入输出不同输出：python2——print ‘对象’python3(加括号)——print(‘对象’)输入：python2——输入整形：input()；输入字符串类型：raw_input()python3——只有一种方法输入字符串：input()2）.除法运算的区别python2——运算符’/’：当被除数与除数都为整形时，...
2019-06-13 09:01:13
325
原创 Python垃圾回收机制
话不多说，都是因为要找工作呀Python垃圾回收分为三部分：引用技术，标记清除，分代回收一.引用计数Python垃圾回收主要以引用计数为主，标记清除分代回收为辅。引用计数发的原理每个对象维护一个ob_ref，用来记录当前对象被引用的次数，也就是来追踪到底有多少个引用指向了这个对象。源码分析Python里面每一个东西都是对象，核心是一个结构体Py_Object，所有的Python对象的头部都包含了这样一个结构PyObject// object.hstruct _object { P
2020-09-23 10:53:18
174
原创 基于Flask的任务管理系统(知识点)
Flask开发项目结构：2.程序经常需要多个配置，一般分为开发，测试和生产环境，他们使用不同的数据库，不会彼此影响。3.程序工厂函数(1)为什么需要程序工厂函数?在单个文件中开发程序很方便,但却有个很大的缺点,因为程序在全局作用域中创建,所以无法动态修改配置。运行脚本时,程序实例已经创建,再修改配置为时已晚。这一点对单元测试尤其重要,因为有时为了提 高测试覆盖度,必须在不同的配置环境中运行程序。这个问题的解决方法是延迟创建程序实例,把创建过程移到可显式调用的工厂函数中。这种方法不仅可以 给脚本
2020-06-25 20:39:02
1595
1
原创 Django实现个人博客系统开发(知识点篇)
1.创建新的虚拟环境2.在setting设置里面更改语言和时区3.生成脚本生成后台超级管理员用户python manage.py createsuperuser4.在setting中声明应用5.创建数据库表1）Django会自动创建id作为主键2）设置更新时间#auto_now对象第一次创建时设置时间 auto_now_add 每次对象更新时更新时间cre...
2020-05-05 00:36:02
837
原创 基于requests和(正则/Xpath)的猫眼电影数据定向爬虫
一.需求分析应用requests库和正则表达式抓取猫眼电影TOP100的电影名称，时间，评分，图片等信息。项目分析：1.明确采集网址猫眼电影榜单TOP1002.爬取，requests数据采集库，正则表达式数据解析库3.存，json格式存储到文件二.分步骤爬取1.导入需要的包import requestsfrom colorama import Forefrom fake_us...
2020-04-12 21:22:12
1101
原创 Python爬虫基础整理
一.爬虫分类根据使用场景，网络爬虫可以分为通用爬虫和聚焦爬虫。1.通用爬虫通用爬虫是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网 页下载到本地，形成一个互联网内容的镜像备份。通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着 整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直...
2020-04-11 17:44:32
277
原创 Python数据分析(三)数据分析工具Pandas
目录：Pandas的数据结构Pandas的数据操作Pandas统计计算和描述数据的分组与聚合数据清清洗、合并、转化和重构聚类模型:K-Means实战案例：全球食品数据分析一.Pandas数据结构Series1.Series:类似一维数组对象2.通过list构建Seriesser_obj = pd.Series(range(10))3.由数据和索引组成索引在左，数据在...
2020-03-14 11:30:28
379
原创 分布式版本控制Git与上传项目到Github
1.登录GitHub，闯创建一个仓库2.填写相关信息并创建初始化项目为Git仓库，将项目文件添加到暂存区，提交到本地仓库，最终上传至远程仓库----->命令流程图操作流程：git init #初始化项目为Git仓库，后续如果添加代码时不需要执行git add * #将所有项目文件添加到暂存区git commit -m '项目名称' #提交到...
2020-03-08 11:22:22
191
原创 Python数据分析(二)数据采集与操作
目录：常用格式的本地数据读写Python的数据库基本操作数据库多表连接爬虫简介BeautifulSoup解析网页爬虫框架Scrapy实战案例：获取国内城市空气质量指数数据一.常用格式的本地数据读写 常用的数据分析文件格式：txt，csv，json，xml(Excel)，xls，HDF1.txt文件读写 由字符串行组成，每行由EOL(End Of Line)字符隔开，'\n...
2020-03-06 10:48:31
768
原创 基于 Scrapy 框架影视信息采集与分析
采用基于 Scrapy 框架的爬虫技术,开发了检索电影信息的搜索引擎。对豆瓣网站的影视信息进行爬取,以方便用户准确获取最新的电影信息。以“豆瓣电影”为爬取目 标,爬取网站中的影视信息。主要包括网站排名 “ Top250 ”和喜剧、动作类电影的电影名称、电影评分、电影导演, 电影上映时间以及电影评语。Scrapy 框架运行流程1.创建工程scrapy startproject DouBan...
2019-08-21 15:44:43
998
1
原创 基于tensorflow的CNN验证码识别
使用的卷积网络的结构如图所示：之前我们做了一个验证码识别逻辑回归案例，我们将使用该案例中的‘cut_number/’文件夹下的数据作为卷积网络的训练数据。在使用这些数据之前，我们要对数据进行处理，以对应卷积网络要求的数据格式！数据处理分为两部分：1.由于卷积网络要求输入28281的图片数据，所以要把原图片resize到相应的大小，代码如下：#!/home/kiosk/anaconda3...
2019-08-19 16:05:42
349
1
原创 基于tensorflow的DNN手写数字识别
神经网络：正向传播：利用输入值算出预测值对神经网络逐层进行计算步骤：（1）对神经网络第一层计算1. 对第一层第一个神经元计算1）应用线性函数计算2）应用非线性函数计算（激活函数：Sigmod,Tanh,Relu,Leaky Relu）2. 对第一层第二个神经元计算…3…(2) 对神经网络第二层计算…反向传播：通过损失函数（真实值-预测值），应用梯度下降，来计算出当w[1],b...
2019-08-19 14:48:37
747
原创 IP代理池搭建
项目背景在爬取一些大网站的时候,总会出现被反爬技术阻碍的情况,限制IP就是其中一种,那么使用代理就是很好的解决方案.爬虫经常会用到代理IP， 高效使用这些IP是一个比较麻烦的事情。代理池是爬虫、采集、爆破、刷单等必不可少的配备。项目需求需要监控ip是否过期，如果已经过期就从池中删除监控访问目标网址的成功率，将成功率低的自动剔除让ip池长期保持设定的ip数量，以便随时取用项目...
2019-08-15 16:11:49
211
原创 拉勾网职位需求采集项目
1.需求分析通过观察可以发现，拉勾网的职位页面详情是由 http://www.lagou.com/jobs/ PositionId.html 组成。而 PositionId 可以通过分析 Json 的 XHR 获得。而红框里的职位描述内容是我们要抓取的数据。知道了数据的源头，接下来就按照常规步骤包装 Headers ，提交 FormData 来获取反馈数据。...
2019-08-15 14:39:05
231
原创 python爬虫案例--图片下载器
案例：图片下载爬虫步骤：1.需求分析（本案例中爬去特定关键字的表情包，实现两个功能，搜索图片和自动下载）2.分析网页源代码，配合F123.编写正则表达式或者其他解析器代码4.正式编写python爬虫代码代码实现："""Created on Mon Aug 12 22:06:51 2019@author: Omega_Sendoh""""""Date: 2019--07 ...
2019-08-12 22:59:32
239
原创 机器学习决策树
决策树1.什么是决策树决策树是一种非线性有监督离散型分类模型决策树是通过固定的条件来对类别进行判断：2.决策树的生成数据在不断分裂的递归过程，每一次分裂，尽可能让类别一样的数据在树的一边，当树的叶子节点的数据都是一类的时候，则停止分裂（if lese语句）3.划分选择决策树学习的关键，是如何选择最优划分属性，一般而言，随着划分过程不断进行，我们希望决策树的分支节点所包含的样本尽可...
2019-08-12 11:59:29
159
原创 验证码识别逻辑回归案例
应用案例本案例的目的利用逻辑回归识别验证码中的数字第一步：生成验证码图片训练集from PIL import Imagefrom PIL import ImageDrawfrom PIL import ImageFontimport randomdef getRandomColor(): """ 获取一个随机颜色(r,g,b)格式的 :return: ...
2019-08-12 11:04:06
394
原创 机器学习之逻辑回归问题
一.逻辑回归与的线性回归的区别线性回归：预测一个连续的值逻辑回归：预测一个离散的值逻辑回归就是在用回归的办法做分类任务，我们就先考虑最简单的二分类,结果是正例或者负例的任务。有一家医院希望我们能开发出一款分类器，可以通过数据分析出一块肿瘤到底是良性的，还是恶性的，通过线性回归加设定阈值的办法,就可以完成一个简单的二分类任务如下图:当我们要做二分类的时候，我们一般只希望得到两个值 y ...
2019-08-05 15:56:56
250
原创 机器学习之线性回归问题
一.线性回归1.什么是线性回归问题线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。2.线性回归的一般步骤对于一元线性回归(单变量线性...
2019-08-05 15:03:31
299
原创 前端习题
一.简答1.html 中 title 属性和 alt 属性的区别?title:规定有关元素的额外信息alt:alt属性则是用来指定替换文字，只能用在img、area和input元素中（包括applet元素），用于网页中图片无法正常显示时给用户提供文字说明使其了解图像信息。注意，alt是替代图像作用而不是提供额外说明文字的2.请说出几个常用的块级元素和行内元素.行内元素：与其他行内元素并排...
2019-08-02 16:46:25
437
原创 CSS层叠样式表
*****CSS 指层叠样式表 (Cascading Style Sheets)定义如何显示控制 HTML 元素,从而实现美化HTML网页。为了让网页元素的样式更加丰富,也为了让网页的内容和样式能拆分开,CSS由此思想而诞生,有了CSS,html中大部分表现样式的标签就废弃不用了,html只负责文档的结构和内容,表现形式完全交给CSS,html文档变得更加简洁****一.CSS基本语法1.C...
2019-08-02 11:28:13
123
原创 HTML超文本标记语言
一.HTML网页结构1.什么是HTMLHTML(Hyper Text Mark-up Language )即是超文本标记语言, 通过使用标记标签来描述页面文档结构和表现形式的一种语言，再由浏览器进行解析，然后把结果展示在网页上。超文本指的是超链接，标记指的是标签。2.HTML文件1).HTML文件用编辑器打开显示的是文本，可以用文 本的方式编辑.2). HTML文件用浏览器打开，浏览器会...
2019-08-02 10:28:19
641
原创 qq邮箱用户登陆页面
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title></title> <style type="text/css"> *{ padding: 0; ...
2019-07-31 22:54:21
1695
原创 python网络编程
一.TCP/IP协议TCP/IP协议（传输控制协议/互联网协议）是一组特别的协议，包括：TCP，IP，UDP，ARP等，这些被称为子协议。在这些协议中，最重要、最著名的就是TCP和IP。因此，大部分网络管理员称整个协议族为“TCP/IP”。二.TCP与UDP1.UDP用户数据报协议UDP ⽤户数据报协议，是⼀个⽆连接的简单的⾯向数据报的运输层协议。UDP不提供可靠性，它只是把应⽤程序传给...
2019-07-24 10:41:25
223
原创 pyhton多线程练习
一. IP 地址归属地批量查询任务使用创建子类的方式实现多线程任务from threading import Thread,Lockimport requestsimport jsonclass GetHost(Thread): def __init__(self, ip): super(GetHost, self).__init__() self...
2019-07-22 17:41:08
142
原创 pyhton数据库编程
一.对象关系映射SQLAlchemy1.什么是ORMORM，即Object-Relational Mapping（对象关系映射），它的作用是在关系型数据库和业务实体对象之间作一个映射，这样，我们在具体的操作业务对象的时候，就不需要再去和复杂的SQL语句打交道，只需简单的操作对象的属性和方法。2.sqlalchemy简介SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL...
2019-07-22 17:15:00
205
原创 关系型数据库MySQL
一.数据库简介1.数据库类型当前使用的数据库，主要分为两类:文档型，如sqlite，就是一个文件，通过对文件的复制完成数据库的复制服务型，如mysql、postgre，数据存储在一个物理文件中，但是需要使用终端以tcp/ip协议连接，进行数 据库的读写操作2.基本概念E-R模型当前物理的数据库都是按照E-R模型进行设计的,E表示entry，实体R表示relationship，关系...
2019-07-22 14:40:20
317
原创 python多任务编程
一.多任务编程1.什么是多任务编程多任务编程简单来说就是操作系统可以同时运行多个任务。2.单核cpu如何实现多任务编程操作系统轮流让各个任务交替执⾏，每个任务执⾏0.01秒，这样反复执⾏下去。 表⾯上看，每个任务交替执⾏，但CPU的执⾏速度实在是太快了，感觉就像所有任务都在同时执⾏⼀样。3.多核cpu如何实现多任务编程真正的并⾏执⾏多任务只能在多核CPU上实现，但是，由于任务数量远...
2019-07-22 11:46:19
347
原创 数据结构之排序算法
一.排序算法介绍1.什么是排序排序就是对一序列对象根据某个关键字进行排序。假设含有n个记录的序列为{r1,r2,……,rn}，其相应的关键字分别为{k1,k2,……,kn}，需确定 1，2，……，n的一种排列p1,p2,……,pn，使其相应的关键字满足kp1≤kp2≤……≤kpn（非递减或非递增）关系，即使得序列成为一个按关键字有序的序列{rp1,rp2,……,rpn}，这样的操作就称为排序。...
2019-07-18 09:21:52
219
原创 数据结构之树与二叉树
一.树与树算法二. 二叉树的遍历遍历是指对树中所有结点的信息的访问,即依次对树中每个结点访问一次且仅访问一次,我们把这种对所有节点的访问称为遍历。遍历的模式分为深度优先和广度优先，如图所示：我们以下图简单的二叉树为例，理解深度遍历优先与广度遍历优先：1.广度优先遍历广度优先遍历即层级遍历，逐层依次遍历，以上图为例，遍历顺序为 1—>2—>3—>4—>5—&...
2019-07-15 08:43:25
169
原创 数据结构之单向循环链表
单向循环列表，即链表中最后一个节点的next不再指向None，而是指向链表的头节点。单向循环列表的操作以及代码实现：操作is_empty() 判断链表是否为空length() 返回链表的长度travel() 遍历add(item) 在头部添加一个节点append(item) 在尾部添加一个节点insert(pos, item) 在指定位置pos添加节点remove(item) 删...
2019-07-08 19:33:31
247
原创 python第七周小测（更新：队列封装（改错））
1.学生信息管理学生信息包括：学号，姓名，年龄，性别，出生年月，地址，电话，Email，设计学生信息管理系统，提供以下功能：系统以菜单方式工作学生信息录入功能（学生信息用文件保存）学生信息浏览功能按学号与姓名查询按学号与姓名排序（此功能未添加）学生信息的删除学生信息的修改（此功能未添加）class StudentManage(object): def __init__(s...
2019-06-27 11:14:40
233
转载 python面向对象之元类
一、Python 中类也是对象在了解元类之前，我们先进一步理解 Python 中的类，在大多数编程语言中，类就是一组用来描述如何生成一个对象的代码段。在 Python 中这一点也是一样的。class ObjectCreator(object): passmObject = ObjectCreator()print(mObject)输出结果：<__main__.Obj...
2019-06-25 09:49:51
119
原创 python面向对象的一些常用魔术方法
一.常见魔术方法name类，函数，方法等的名字module类定义所在的模块class对象或类所属的类bases当前类的基类（父类）doc类，函数的文档帮助，没有定义为NonemroMethod Resolution Order 方法解析顺序dict类或实例的属性，可写的字典举例：class A(object): pas...
2019-06-24 16:35:03
217
原创 python第六周小测
1. 按奇偶排序数组（leetcode）给定一个非负整数数组 A，返回一个数组，在该数组中， A 的所有偶数元素之后跟着所有奇数元素。你可以返回满足此条件的任何数组作为答案。示例：输入：[3,1,2,4]输出：[2,4,3,1]输出 [4,2,3,1]，[2,4,1,3] 和 [4,2,1,3] 也会被接受。方法一：sorted()方法class Solution: def ...
2019-06-19 19:44:13
445
原创 python面向对象高级特性
一.类属性与实例属性类属性：直接定义在类里面的，只存在一份，与对象的个数无关，调用的方法（类名.属性名，对象名.属性名）对象(实例)属性：属性和对象绑定self.name=‘xxxx’，有多少个对象，存储多少份，调用方法（对象名.属性名）class People(object): country = 'China' #类属性，在内存中只存一份 def...
2019-06-18 20:36:23
223
原创 python第五周小测
一.队列数据结构的封装队列类。队列(queue)是具有先进先出(FIFO)特性的数据结构。一个队 列就像是一行队伍,数据从前端被移除,从后端被加入。这个类必须支持 下面几种方法:并实现下面的功能:...
2019-06-13 09:02:06
617
原创 pyhthon垃圾回收机制
一.对象池在了解python垃圾回收机制前，我们先了解什么是python对象池。整数在程序中的使用非常广泛,Python为了优化速度,使用了小整数对象池,避免为整数频繁申请和销毁内存空间。Python对小整数的定义是[-5,257) 这些整数对象是提前建立好的,不会被垃圾回收。在一个Python的程序中,所有位于这个范围内的整数使用的都是同一个对象.每一个大整数,均创建一个新的对象。a = ...
2019-06-10 21:18:26
208
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人