- 博客(46)
- 收藏
- 关注
RSS订阅原创 day27python基础教学--基于 Scrapy 框架影视信息采集与分析
一、项目介绍为了充分利用网上大数据资源，让用户能够方便利用影视信息，采用基于 Scrapy 框架的爬虫技术，开发了检索电影信息的搜索引擎。对豆瓣网站的影视信息进行爬取，以方便用户准确获取最新的电影信息。二、项目流程图1、通用爬虫框架流程图Screpy框架运行流程项目代码以“豆瓣电影”为爬取目 标，爬取网站中的影视信息。主要包括网站排名 “ Top250 ”和喜剧、动作类电影的电影名...
2019-08-27 21:37:43
714
原创 第八节机器学习--神经网络
一、神经网络1、反向随机失活Inverted DropOut反向随机失活d3 = np.randm.rand(a3.shape[0], a3.shape[1]) < keep_proba3 = np.multiply(a3, d3)a3 /= keep-prob假设有50个神经元， keep-prob = 0.8， 也就意味着10个左右的神经元要设为0在这种情况下， z = w...
2019-08-19 16:07:58
413
原创 day26--python教学--API的使用
一、使用API1、API概括现在API是越来越多，一些“成熟”的网站都会为自己构造API为使用者或开发者提供使用，例如可以通过百度地图API进行查询路线，定位坐标等。通过一些音乐API查询歌手信息、歌词下载等。通过翻译API进行实时翻译多国语言。2、API的使用方法API用一套非常标准的规则生成数据，而且生成的数据也是按照非常标准的方式组织的。因为规则很标准，所以一些简单、基本的规则...
2019-08-19 14:32:06
304
原创 day25--python教学--lxml库和Xpath语法
一、Xpath简介1、Xpath介绍XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进 行遍历。2、选取节点XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看 到的表达式非常相似。最常用的路径表达式：3、谓语谓语用来查找某个特定的节点或者包含某个指...
2019-08-19 14:20:50
238
原创 day25-python基础教学--正则表达式
一、正则表达式简介1、正则与爬虫的关系实际上爬虫一共就四个步骤：明确目标（要知道你准备在那个范围或者网站去搜索）爬（将所有的网站的内容全部爬下来）取（去掉对我们没用处的数据）处理数据（按照我们想要的方式存储和使用）2、正则表达式介绍正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个模式(规则)的文本。正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定...
2019-08-19 14:08:20
222
原创 第七节机器学习--聚类
一、聚类第一个无监督的算法1、无监督学习有X没有Y利用X相似性聚类对大量未标注的数据集，按内在相似性划分为多个类别，类别内相似度大，类之间相似度小2、距离的概念2.1欧几里得距离（欧式距离）假设超人要从A点到B点，可以直接飞过去，那飞过去的距离就是欧式距离。2.2曼哈顿距离假设普通人要从A点到B点，那只能绕着建筑物走，这个距离就是曼哈顿距离2.3闵可夫斯基距离闵氏距...
2019-08-12 15:04:45
484
原创 第六节机器学习--决策数、SVM
一、项目：随机生成验证码然后进行去除杂质等操作！1、随机生成150个5位的验证码。其中验证码的数字和每一个验证码的颜色都是随机的。并且给它加上那一些不规则的污点。作为我们的数据。from PIL import Imagefrom PIL import ImageDrawfrom PIL import ImageFontimport randomdef getRandomColo...
2019-08-12 14:38:36
187
原创 day24--爬虫基础
一、通用爬虫和聚焦爬虫1、根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种.。通用网络爬虫 是 捜索引擎抓取系统的重要组成部分。主要目的是将互联网上的网 页下载到本地，形成一个互联网内容的镜像备份。通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着 整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果...
2019-08-08 11:34:34
343
原创 第5节机器学习--逻辑回归--评估指标
一、逻辑回归1、有监督机器学习线性回归：预测一个连续的值逻辑回归：预测一个离散的值例：阶跃函数：不连续的2、良性肿瘤 and 恶性肿瘤。如果想要模型的y值坐落在[0,1]的区间上那么就需要使用sigmoid函数。线性回归模型：带入之后得：如果：g（x） = 0.73、sigmoid函数的作用数学上，是根据广义线性回归的模型推导所得的结果。直观上，...
2019-08-05 16:13:31
1443
原创 第四节--导数复习以及多线性回归
一、导数复习1、正切 tan定义：tanθ=y/x 如下图2、导数3、偏导数偏导数：当有多元函数是，针对于不同的自变量，描述函数变化率的公式。二、梯度下降的几个问题1、梯度下降梯度下降是一种非常通用的优化算法，能够为大范围的问题找到最优解。梯度下降的中心思想就是迭代的调整参数从而使损失函数最小化。假设你迷失在山上的浓雾之中，你能感觉到的只有你脚下路面的坡度。快速到达山脚的...
2019-08-05 15:22:16
300
原创 第三节机器学习--线性回归
一、线性回归1、线性回归的一般步骤2、KNN预测代码例题：from numpy import *def createDataSet(): # group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]]) # labels = ['A', 'A', 'B', 'B'] group = array([[3, 10...
2019-08-05 14:41:47
155
原创 第二节机器学习--NPL基础
一、NPL1、NPL：Natural Language Processing 自然语言处理。2、文本相似度分析：从海量数据（文章，评论）中，把相似的数据挑选出来步骤：把评论翻译成机器看的懂的语言使用机器看的懂得算法轮询去比较每一条和所有评论的相似程度把相似的评论挑出来2.1、把评论翻译成机器看的懂的语言分词制作词袋模型用词袋模型制作语料库把评论变成词向量2.2、使用...
2019-08-05 14:15:02
2088
原创 第一节--机器学习导论
一、机器学习和人工智能1、人工智能的分类领域模式识别语音识别，应用领域：个人助手、自动话务员图像识别，应用领域：自动驾驶、图像识别/图像处理、工业自动化 、光学影像自然语言处理，应用领域：（大）数据分析 -> 大数据（Hadoop/Spark/MR, 深度学习/LSTM, NLP）、文本分析2、机器学习是现阶段人工智能的核心技术，是通过统计学原理，来对数据进行分析与建模。...
2019-08-05 13:51:58
249
原创 8月2日 练习题--前端简答题和项目实例--html--CSS--JS
一、简答题1、html 中 title 属性和 alt 属性的区别?alt是在图片不能正常加载时候显示的提示语title属性是鼠标划上去显示的内容2、请说出几个常用的块级元素和行内元素.块级元素：div、p、li、dt以及所有容器级标签行内元素：b、em、a、i以及除了p以外的文本标签3、介绍一下 CSS 的盒子模型?盒模型的组成包括:content, padding, b...
2019-08-02 17:14:08
281
原创 day23--jQuery
一、jQuery介绍1、jQuery是目前使用最广泛的javascript函数库。jquery是一个函数库,一个js文件,页面用script标签引入这个js文件就可以使用。下载地址:jQuery官方网站: http://jquery.com/2、jQuery加载将获取元素的语句写到页面头部,会因为元素还没有加载而出错,jquery提供了ready方法解决这个问题,它的速度比原生的 wi...
2019-08-02 10:36:27
121
原创 python基础教学day23--CSS层叠样式表
一、CSS介绍1、css指层叠样式表定义如何显示控制HTML元素从而实现美化HTML网页。优势：有CSS之后，html中大部分表现样式的标签就废弃不用了，html只负责文档的结构和内容。表现的形式由CSS修改。二、基本语法1、格式：选择器{属性：值；属性：值；属性：值…}2、内联式：通过标签的style属性，在标签上直接写样式。3、嵌入式：通过style标签，在网页上创建嵌入的样式表。...
2019-08-02 10:18:35
206
原创 网络编程作业
一.常见网络编程面试题目1.简述 OSI 七层协议。应用层:与其他计算机进行通讯的一个应用,它是对应应用程序的通信服务的.一个没有通信功能的字处理程序就不能执行通信的代码，从事字处理工作的程序员也不关心OSI的第7层。但是，如果添加了一个传输文件的选项，那么字处理器的程序就需要实现OSI的第7层。示例：TELNET，HTTP，FTP，NFS，SMTP等。表示层:这一层的主要功能是定义数据格...
2019-07-24 15:49:16
435
原创 python基础教学day21--网络编程
一、网络通信概述1、网络通信就是一种能够使双方或者多方连接在一起的工具。2、网络通信的目的能够把多方连接在一起，然后进行数据的传递网络编程就是，使不同电脑上的软件能够进行数据传递，即进程之间的通信二、TCP/IP协议1、网络协议为计算机中进行数据交换而建立的规则、标准或约定的集合。2、互联网有上百种协议标准，最重要的两个协议时TCP/IP协议。3、ip地址：用来在网络中标记一台...
2019-07-24 11:00:41
154
原创 多任务管理作业
1、IP 地址归属地批量查询任务注意: 使用创建子类的方式实现多线程任务import threading,jsonfrom threading import Threadimport requestsclass Getip(object): def get_add(self,ip): ur1 = 'http://ip-api.com/json/1.1.1.%s'%...
2019-07-22 17:40:20
226
原创 python基础教学day20--多任务编程
一、多任务编程1、所谓多任务编程就是操作系统可以同时运行多个任务。实质上是每个任务交替执行，每一个任务约执行0.01秒，由于速度太快看着像是所有任务一起执行。二、多进程编程1、编写完毕的代码，在没有运行的时候，称之为程序正在运行的代码，称为进程2、Python的os模块封装了常见的系统调用，其中有fork，可以在python程序中创建子进程。Unix/Linux操作系统有一个for...
2019-07-22 16:48:45
312
原创 python基础教学day20--Redis编程
一、Redis简介1、NoSQL，全名为Not Only SQL，指的是非关系型的数据库随着访问量的上升，网站的数据库性能出现了问题，于是NoSQL被设计出来。2、优点：高可扩展性，分布式计算，低成本 架构的灵活性 半结构化数据 没有复杂的关系缺点：没有标准化、有限的查询功能、最终一致是不直观的程序3、 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可...
2019-07-22 14:53:55
133
原创 python基础教学day20--对象关系映射SQLAalchemy
一、对象关系映射SQLAalchemy简介1、ORM，即Object-Relational Mapping（对象关系映射），它的作用是在关系型数据库和业务实体对象之间作一个映射，这样，我们在具体的操作业务对象的时候，就不需要再去和复杂的SQL语句打交道，只需简单的操作对象的属性和方法。二、基本操作1、安装sqlachemy在有安装mysql数据库的机器安装模块：pip3 install...
2019-07-22 14:27:39
126
原创 python基础教学day19关系型数据库MySQL
一、数据库简介1、数据库解决的问题：持续化存储，优化读写，保证数据的有效性。2、当前使用的数据库，主要分为两类：文档型：如sqlite，就是一个文件，通过对文件的复制完成数据库的复制服务型：如mysql、postgre，数据存储在一个物理文件中，但是需要使用终端以tcp/ip协议连接，进行数据库的读写操作。3、当前物理的数据库都是按照E-R模型进行设计的。E表示entry，实体...
2019-07-22 14:11:43
211
原创 python基础教学day18--查找--贪心算法
一、查找表1、查找表是由同一系类型的数据元素构成的集合。一般对于查找表有一下几种操作：在查找表中查找某个具体的元素在查找表中插入数据元素在查找表中删除数据元素2、在查找表中只做查找操作，而不改动表中的数据元素，称此类查找表为静态查找表；在查找表中做查找操作的同时进行插入数据或者删除数据的操作，称此类为动态查找表。3、关键字又细分为关键字和次关键字。若某个关键字可以唯一地识别...
2019-07-22 11:30:02
200
原创 python基础教学day17排序算法--八皇后问题
一、排序算法1、 假设含有n个记录的序列为{r1,r2,……,rn}，其相应的关键字分别为{k1,k2,……,kn}，需确定 1，2，……，n的一种排列p1,p2,……,pn，使其相应的关键字满足kp1≤kp2≤……≤kpn（非递减或非递增）关系，即使得序列成为一个按关键字有序的序列{rp1,rp2,……,rpn}，这样的操作就称为排序。2、排序的稳定性稳定：如果a原本在b前面...
2019-07-22 10:56:27
234
原创 python基础教学day16--树与二叉树
一.树1. 树是一种抽象数据类型或是实作这种抽象数据类型的数据结构,用来模拟具有树状结构性质的数据集合.2. 它是由n(n>=1)个有限节点组成一个具有层次关系的集合。把它叫做“树”是因为它看起来像一棵倒挂的树,也就是说它是根朝上,而叶朝下的。它具有以下的特点:每一个节点有零个或者多个子节点没有父节点的节点称为根结点每一个非根节点有且只有一个父节点除了根节点外,每一个子节点可...
2019-07-22 09:42:29
216
原创 7月18号算法作业--贪心算法..动态规划..不同排序问题
一.贪心算法问题:根据身高重建队列假设有打乱顺序的一群人站成一个队列.每个人由整数对(h,k)表示,其中h是这个人的身高,k是排在这个人前面且身高大于或等于h的人数,编写一个算法来重建这个队列代码示例如下:arr = [[7,0],[4,4],[7,1],[5,0],[6,1],[5,2]] #初始状态"""思考过程如下:7,07,0 7,17,0 6,1 7,15,0 7,...
2019-07-18 16:53:24
383
原创 python基础教学day15--数据结构与算法
一、导论1、算法引入1.1 算法是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，算法代表着用系统的方法描述解决问题的策略机制。1.2 算法的五大特征输入：有0个或多个输入输出：至少有一个或者多个输出有穷性：有限的步骤之后会自动结束确定性：每一步都有确定的含义可行性：每一步都是可行的算法的时间复杂度一般都是最坏时间复杂度2、算法效率衡量2.1 执行时间反应算法效...
2019-07-18 16:33:29
186
原创 day14python基础教学--2048游戏项目
一、完成2048游戏的开发1、游戏整体思路1）、绘制棋盘初始化棋盘的宽度当前得分，默认为0最高分初始化随机生成两个数，对为0的空格进行填充窗口绘制图形信息2）、游戏的相关信息当前分数、最高分数上下左右建对空格内的数字进行移动判断是否可以向右移动是否可以向左只需要将向右进行反转向左移动时，每一行的数字都左对齐，并且如果有相邻的两个相同则最终等于他们之和向右、向下、向...
2019-07-18 09:43:21
178
原创 day13python基础教学--面向对象进阶--元类、动态语言、__slots__变量
一、元类1、在大多数编程语言中，类就是一组用来描述如何生成一个对象代码段。在Python中这一点仍然成立，但是Python中的类还远不止如此，类同样也是一种对象。使用关键字class，Python解释器子啊执行的时候就会 创建一个对象。Python一切皆对象Linux一切皆文件2、类的本质是对象，于是可以对类做如下的操作：你可以将它赋值给一个变量也可以拷贝它可以增加属性可以将它作...
2019-07-07 17:20:52
201
原创 python基础教学day12---魔术方法
一、特殊属性1、魔术方法名称功能方法__name__类、函数、方法等的名字方法__module__类定义所在的模块方法__class__对象或类所属的类方法__bases__当前类的基类(父类)方法__doc__类、函数的文档帮助，没有定义为None方法__mro__Method Resolution Order 方法解析顺序...
2019-07-03 19:44:42
180
原创 第七周作业--学生信息管理系统--学生综测管理系统
1、学生信息管理"""1、首先确定学生的信息，以字典里面嵌套列表的形式存储查找的时候按照学号查找；2、系统以菜单的方式进行工作"""from operator import itemgetterclass StudentA: def __init__(self): self.Info = {} self.student_info = [] ...
2019-06-27 17:36:53
689
原创 python基础教学day11--面向对象
一、面向过程编程介绍1、面向过程编程1、“面向过程”是一种以过程为中心的编程思想。这些都是以什么正在发生为目标进行编程，不同于面向对象的是谁在受影响。与面向对象明显的不同就是封装、继承、类。2、特性：模块化、流程化优点：性能比面向对象高，因为类调用时需要实例化，开销比较大，比较消耗资源，单片机、嵌入式开发、Linux/Unix等一般采用面向过程编程，性能是最重要的因素。缺点：没有面向对象...
2019-06-24 18:52:09
237
原创 第六周作业--校长吃热狗游戏--奇偶排序--字母组合
作业一： 思聪爱吃热狗游戏import randomimport timeimport pygameimport sysfrom pygame.locals import * width = 640height = 480pygame.init()screen = pygame.display.set_mode([width, height])pygame.display...
2019-06-20 11:47:32
215
原创 python基础教学day10--垃圾回收机制
1、对象池1、小整数对象池整数在程序中的使用非常广泛，Python为了优化速度，使用了小整数对象池，避免为整数频繁申请和销毁内存空间。Python对小整数的定义是[-5,257)这些整数对象是建立在提前建立好的，不会被垃圾回收。在一个python的程序中，所有位于这个范围内的整数使用的都是同一个对象。2、大整数对象池每一个大整数，均创建一个新的对象。3、intern机制strin...
2019-06-15 19:34:31
160
1
原创 python基础day09--异常处理
1、什么是异常处理异常既是一个事件，该事件在在程序执行的过程中发生，影响了程序的正常执行。当python脚本发生异常处理时我们需要捕获处理它，否则程序会终止执行。2、异常处理try:运行语句except:如果问题就会报错else:如果没有异常就会执行，有异常便不执行。finally:总会执行例：try: print(2)except NameEr...
2019-06-15 17:47:08
143
原创 第五周作业题---栈、队列、回顾
一.队列数据结构的封装队列类。队列(queue)是具有先进先出(FIFO)特性的数据结构。一个队 列就像是一行队伍，数据从前端被移除，从后端被加入。这个类必须支持以下操作。代码如下：class Queue: def __init__(self): self.list_queue = [] def enqueue(self,item): sel...
2019-06-12 18:42:45
147
原创 python基础教学08--模块与包
一、模块1、模块就是工具包想要使用这个工具包中的工具，就需要导入这个模块。在python中一个python文件就是一个模块，两个文件就是两个模块2、3、模块导入的方式：import 模块名1，模块名2：当解释器遇到import语句，如果模块在当前搜索路径就会被导入import 模块名.函数名：在多个模块中含有相同的函数，如果只是通过函数名来调用，解释器无法知道到底那个要调用那个函数。如...
2019-06-10 09:04:55
200
原创 装饰器作业
一、记录日志装饰器练习题import timeimport osimport sysdef log(fun): def wrapper(*args,**kwargs): result = fun(*args,**kwargs) now_time = time.ctime() #name = platform.uname.nodenam...
2019-06-06 00:02:18
132
原创 python基础教学day07--高级特性
主要内容：高级特性一、生成式与生成器1、列表生成式就是一个用来生成列表的特定语法形式的表达式。是python提供的一种列表的简介形式，可快速生成一个新的list普通的语法格式：[exp for iter_var in iterable]带过滤功能语法格式[exp for iter_var in iterable if_exp]循环嵌套语法格式：[exp for iter_var_A in...
2019-06-03 22:51:03
210
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人