- 博客(36)
- 收藏
- 关注
RSS订阅原创 划题整理，计算机应用技术——网络爬虫和深度学习
什么是网络爬虫？网络爬虫是指在互联网上自动爬取网站内容信息的程序，也被称作网络蜘蛛或网络机器人简述网络爬虫程序的执行流程网络爬虫的执行流程可以总结为以下循环：下载页面网页内容的本质是HTML文本，爬取一个网页内容之前，首先要根据网页的URL下载网页提取页面中的数据当网页（HTML）下载完成后，对页面中的内容进行分析，并提取感兴趣的数据，提取数据可以多种形式保存，比如以某种格式（CS...
2019-04-09 21:46:53
2545
原创 Python算法效率和增长量级，经典题目回顾
Python算法效率和增长量级，经典题目回顾第一题第二题另一种更缜密的思路第三题另外一种考虑复杂度的方法考虑渐进复杂度第一题def program1(L): multiples = [] for x in L: for y in L: multiples.append(x*y) return multiples上面这个题最好的...
2019-03-31 11:48:12
386
原创 3.23学堂在线python，效率和增长量级
3.23学堂在线python，效率和增长量级笔记衡量算法复杂度使用方法排除上面1的影响来获得真正的复杂度值在本课程当中就专注于最糟案例，如此比较算法复杂度测试复杂度笔记在这一讲我们将介绍算法的复杂度，怎样衡量一个算法的复杂度，以及算法的效率，参数大小的计算需要的时间，我们的目的不是要预测算法的运行时间，而是了解算法的内在复杂度从常量算法、到线性算法，再到多项式和指数算法本讲结束时，你能够对...
2019-03-23 17:52:51
312
原创 3.21学堂在线python四号习题集，Hand游戏第二部分
3.21学堂在线python四号习题集，Hand游戏第二部分简介a简介在上面的第一部分我们实现了发牌-构成单词-积分并输出的基础性工作，在这一部分我们将试着让计算机发牌，计算机来玩游戏a...
2019-03-23 15:47:55
310
2
原创 3.19python学堂在线，四号习题集,第一部分hand游戏
3.19python学堂在线，四号习题集学习问题的好方法，读别人的代码# 6.00x Problem Set 4A Template## The 6.00 Word Game# Created by: Kevin Luu <luuk> and Jenna Wiens <jwiens># Modified by: Sarina Canelake <sarina...
2019-03-19 15:45:56
1301
1
原创 scrapy作业——第三章复述，使用Selector提取数据的方式介绍
使用Selector提取数据的方式介绍#selector对象Python中常用以下模块处理HTTP文本解析问题Beautifulsouplxm1.创建对象创建对象时可以调用text参数from scrapy.selector import Selectortext=’’’&amp;lt;html&amp;gt;&amp;lt;/html&amp;gt;’’’selector=Selector(
2019-03-18 14:10:14
230
原创 Scrapy作业——第二章复述，章节练习
Scrapy作业——章节练习第二章一、继承scrapy.Spider二、为Spider取名三、设定起始爬取点四、实现页面解析函数第二章首先是Scrapy的工作流程分析spider要爬取某URL地址的页面时，首先利用spiders构建一个request对象，提交给enginerequest对象随后进入scheduler按照算法进行排队，之后的某个时刻scheduler将其出队，送往d...
2019-03-17 17:21:43
175
原创 3.17学堂在线python学习笔记
3.17学堂在线python学习笔记重要笔记Assertion和控制流的关系Assertions四号习题集重要笔记Assertion和控制流的关系在python中，抛出异常作为一种检测和控制代码流的重要方式一个例子帮我们理解怎么样用这些异常来传递参数三个上面例子的赋值案例和结果（蓝字）简单思考一下，为什么这种序号③里面的案例很方便？如果我们仅仅使用②当中的错误处理器来...
2019-03-17 11:46:12
205
原创 调查研究Kaggle竞赛和APPLE招聘广告的想法
调查研究Kaggle竞赛和APPLE招聘广告的想法kaggle竞赛APPLE招聘广告kaggle竞赛kaggle是一家公司，搞得这个竞赛有相当多的参与者，而参与者的背景各不相同，有竞争极高的Feature和难度一般的Research不过这篇文章的笔者还是建议具有统计、计算机、会用python和R的人参加kaggle竞赛python和R我倒是没有问题，作为数学出身，在数理统计这方面再相对...
2019-03-16 22:51:44
129
原创 pandoc实战-用latex写论文，一键转化为word，用数学公式的截图生成latex代码
用latex写论文，一键转化为word，用数学公式的截图生成latex代码实战效果公式生成代码1.对于简单的表格可以在WPS中伸缩调整，而复杂的公式pandoc能够完美支持，一键转换2.在latex中快速打好文章，用pandocs一键转换成论文word，并且还会参考你给它的模板格式实战、效果、和实用写公式小工具实战首先需要准备插件Pandoc，它能够将任意格式互相转换，而且只需要一行命令...
2019-03-16 20:20:23
6836
1
原创 Scrapy作业——爬取大数据教育机构资源
Scrapy作业——爬取某大数据教育机构的所有资源网站源码，放一部分，可以去查看源代码爬虫parse代码结果auth:王伟喆网站源码，放一部分，可以去查看源代码这个网址http://86mhz.cn/indax.html这个网页禁止直接鼠标右键查看源码，不过这不难我们直接点击浏览器上的：菜单——保存网页——保存为html即可，然后把保存下来的html改成txt就成功了# -*- c...
2019-03-12 00:39:55
734
原创 3.11 Latex——数学公式、多行公式、编号使用笔记
3.11 Latex使用笔记使用latex的排版命令还是以简洁好用为上，记得多了，语言并没有什么用，还不如掌握几个常用的功能多行公式不需要序号的时候，在使用gather*命令，前后都要改\begin{gather}\end{gather}带左弯号的多行公式\begin{equation}\left\{ %在equation环境下使用 \{ 命令...
2019-03-11 21:01:53
6939
1
原创 3.9学堂在线python学习笔记 L8 断言与异常
3.9学堂在线python学习笔记重要笔记重要笔记我们将学习一些方法以便处理python中出现的错误，即代码不按预期运行或不正常运行Exception将从代码层面处理，从而用户可以知道代码怎么错了，怎么处理它Assertions保证所有输入输出的假设都正确Exceptions错误种类多了去了，类似列表试图访问不存在的索引，类似试图对不合适的变量类型使用不合适的函数，或者更...
2019-03-09 12:23:34
164
原创 3.7学堂在线python学习笔记
3.7学堂在线python学习笔记重要笔记重要笔记启发式算法启发式算法（heuristic algorithm)是相对于最优化算法提出的。一个问题的最优算法求得该问题每个实例的最优解。启发式算法可以这样定义：一个基于直观或经验构造的算法，在可接受的花费（指计算时间和空间）下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度一般不能被预计。现阶段，启发式算法以仿自然体...
2019-03-07 13:28:49
295
原创 简单的hangman游戏，完全代码
简单的hangman游戏，完全代码其实这个游戏还是学堂在线的一个作业，花了两个小时干掉了它，也不算太有技术含量的问题# -*- coding: utf-8 -*-"""Created on Sat Mar 2 12:11:18 2019@author: Administrator"""# 6.00 Problem Set 3# # Hangman game## ---...
2019-03-04 18:14:24
3417
1
原创 2.28Scrapy学习笔记
2.28Scrapy学习笔记特定用法第二章总结第三章 使用selector提取数据创建对象、选中数据提取数据特定用法页面解析函数是request对象中callback制定的回调函数，也就是我们在代码当中见到的parse函数，页面解析函数是实现Spider中最核心的部分1.1它需要使用选择器（第三章）提取页面数据，将数据封装之后（Item或字典）提交给Scrapy引擎1.2使用选择器或者...
2019-02-28 22:48:10
106
原创 2.27学堂在线python学习笔记
2.27学堂在线python学习笔记注意重要笔记注意学堂在线的python版本较早，在这个版本里还是把range对象认为是生成了list但是在3.5python中range已经和list不等价！重要笔记>>> aList = range(1, 6)>>> bList = aList>>> aList[2] = 'hell...
2019-02-27 22:50:21
216
原创 2.26学堂在线python笔记
2.26学堂在线python笔记习题列表习题global命令用在定义好的函数里面的时候表示后面的变量是全局的，直接用就好，所以不需要提前定义好传入变量的类型例如def fibMetered(x): global numCalls #这里就认为numCalls已经 #是某个前面用过的环境里已有的全局变量了 numCalls += 1 if x =...
2019-02-26 22:19:46
222
原创 2.26 scrapy学习笔记 之二
2.26 scrapy学习笔记 之二编写spiderscrapy 框架结构及工作原理request对象和response对象上机作业第二章 编写spider编写spiderscrapy 框架结构及工作原理scrapy底下有各种组件，这些组件的功能各不相同，但是最为核心的组件确是spiderrequest和response是HTTP协议当中的术语，即HTTP请求和HTTP响应，sc...
2019-02-26 15:53:55
148
2
原创 2.25机器学习数学基础笔记之二
2.25机器学习数学基础笔记之二凸函数的判定（开口往上凸函数 开口往下凹函数）连线上的一点的期望比期望的值大（期望差不多是平均值）xy函数值大于函数值的平均值绝大多数不等式的起源都是这个不等式只要是凸函数或者凹函数就能够用凸优化条件概率公式和全概率公式常见概率分布泊松分布比较像电商的商品，因为商品某一价格区间的商品比较多正态分布哪里都有，误差基本...
2019-02-25 22:48:55
185
原创 2.25python学习笔记 高阶编程
2.24学堂在线python学习笔记 高阶编程高阶编程笔记字典型变量调试debugging重要概念高阶编程利用二分法查找一个字符是否在某个字符串当中基线条件：当s=’'时，返回False当len(s)=1 且 s==char 时返回True当len(s)&amp;amp;gt;1 且 s[mid]&amp;amp;gt;char时，返回 isIn(char,s[:mid])否则 当s[mid]&amp;amp;lt;char
2019-02-25 18:20:27
176
原创 2.25机器学习数学基础笔记
2.24学堂在线python学习笔记 高阶编程机器学习与数学基础知识内容机器学习定义机器学习算法重点来看一些算法机器学习与数学基础知识一数学基础（必须要把基础补起来才能够做下去）——微积分线性代数 入门（带个头）机器学习典型方法编程基础二动手实践教程代码三数据科学竞赛（这样比较靠谱）四实际项目经验内容机器学习分类一般思路，微积分基础：泰勒公式、导数梯度概率与统计基础：概...
2019-02-25 00:30:31
257
原创 2.24学堂在线python学习笔记 高阶编程
2.24学堂在线python的笔记重要笔记重要题目重要笔记利用二分搜索法来查找一个字符是否在字符串当中def isIn(char, aStr): ''' char: a single character aStr: an alphabetized string returns: True if char is in aStr; False otherwis...
2019-02-24 23:19:41
136
原创 2.23 Mysql学习笔记
2.23 Mysql学习笔记重要笔记客户端的概念重要笔记php像是炼钢技术，mysql是采矿技术，数据库必须要熟练。DB2在银行里面用的多PostgreSQl是开源数据库性能和MySQL差不多SQlite轻型数据库win7安装5.5或者5.6版本的数据库客户端的概念MySQL的服务器一旦开始服务，只要不关机，那就是24小时等待提供数据和写入数据的，随时会在windows里面看...
2019-02-23 13:36:33
105
原创 2.22学堂在线python笔记，递归
2.22学堂在线python笔记，递归知识点做题知识点汉诺塔问题为了计算实际上移动整个塔到另一个塔的实际步数，用迭代的方式思考非常困难，但是一旦用递归的方式思考问题就变得相当简单了。只要一开始把n个圆盘移动到另一个柱子的问题简化成：将n-1个圆盘移动到另一个柱子，并且最后把一个圆盘移动到那个柱子上即可。找到基线条件def printMove(fr,to): print('mov...
2019-02-22 17:54:46
442
原创 2.21学堂在线python笔记，递归
2.21学堂在线python笔记，递归当表中有大量记录时，有两种搜索方法，第一种是全表提取出来一一比对，这会消耗大量资源第二种方式是根据内容建立索引，这样可以快速查找到所需要的内容回文结构：回文：把相同的词汇或句子 ，在下文中调换位置或颠倒过来，产生首尾回环的情趣，叫做回文，也叫回环 。大O符号（Big O notation）在数学中，它一般用来刻画被截断的无穷级数尤其是渐近级数的剩...
2019-02-21 14:03:41
138
原创 Scrapy配置傻瓜式教程
2.19 Scrapy课程笔记一爬取网页中书的名字的价格信息1.3.2的命令都是在dos环境当中运行class命令是创建类class BooksSpider(scrapy.Spider).Spider是一个模板，class继承了这个模板定义了开始网页parse定义了提取规则必须自己写，spiders爬取规则默认是空的！self代表类对象本身response代表...
2019-02-19 17:20:58
565
原创 2.19学堂在线python笔记 第四课函数
2.19学堂在线python笔记Boolean Operations — and, or, not¶These are the Boolean operations, ordered by ascending priority:Operation Result Notesx or y if x is false, then y, else x (1)x and y if x is f...
2019-02-19 11:38:00
122
原创 2.16《函数》学堂在线的MIT的python课程笔记、错误题型、精彩摘录
2.16学堂在线的MIT课程笔记、错误题型、精彩摘录布尔型变量在python中True和False可以当做整数1和0使用，例如In [3]: (True+True)**6Out[3]: 64但是我们还是不提倡这么做，最好把这种事情当做不存在吧！在函数定义中，用两对三个单引号框起来的是函数解释，告诉了我们：这个函数需要哪些变量？能输出哪些变量？这个函数有什么用？在python里...
2019-02-16 21:17:33
219
原创 2.14学堂在线MIT的python做题、上课笔记
错题收集任何计算机都能做的两件事是：进行计算、存储结果不能把推算平方根的方法写成真正的计算机程序是因为计算机不能猜出y的初始值程序计数器指向程序将执行的下一条命令判断子串是否有意义静态语义Static sematics赋予合法的语句意义 Sematicsround是把数字往绝对值大方向取整 int是把数字往绝对值小方向取整...
2019-02-16 18:56:55
439
原创 2019.2.11MIT的python课笔记第一 第四堂课
2019.2.11MIT的python课笔记第三 第四堂课前言概念应用习题总结p27 p28 p29前言概念1.在局部环境中的多重函数绑定可以把绑定的procedure纯纯地看作文本text2. def square(x): return x*x def twoPower(x,n): while n&amp;amp;gt;1: x=square(x) n=n/x retur...
2019-02-11 17:39:50
180
原创 2019.2.8MIT的python课笔记第三 第四堂课p22-p26
2019.2.8MIT的python课笔记第三 第四堂课综述课引言前言概念应用p22 P23 p24综述课引言黑盒抽象将计算的细节和计算的使用分开。是的我们更容易调试算法和程序。构造复杂函数引进环境的形式，可视化处理。观察使用python解释器的函数。我们如何用这些方法把新算法概念化获得能力将任意计算转化为函数，将函数作为其他计算的组成部件，计算思维的重要元素前言我们面临的问题...
2019-02-08 12:23:52
127
原创 2019.2.8MIT的python课笔记
2019.2.8MIT的python课笔记概念应用p15，p16，p18概念加入分支，可以在分支中加入测试的条件，随着测试跳到代码的不同分段迭代For loop用range来构造立方根进制转化，十进制到某进制，不停地用这个进制的位数去除以十进制数取余数排列成这个进制数。如302十进制到100101110二进制某进制到十进制，把每一位数用对应位数的次方算出来...
2019-02-08 10:31:40
171
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人