- 博客(27)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 pyspider框架 HTTP 599: SSL certificate problem问题
一.杂记 闲来无事,听说pyspider这个爬虫框架很神奇,于是摩拳擦掌准备大干一场,结果一来泼我一脸冷水:SSL认证出了问题, 我左找又找找到了一个解决办法,借花献佛一波在最后面加上validate_cert=False即可 ...
2018-07-27 17:04:49
864
2
原创 机器学习算法手撕系列(一)----K-近邻算法(KNN)
一.k近邻基本介绍(1)算法原理 knn算法是一个有监督机器学习算法,可以解决分类问题,也可以解决回归问题.核心思想是未标记样本的类别,由距离其最近的k个邻居投票来决定. 假设我们有一个已经标记的数据集,即已经知道了数据集中每个样本所属的类别,此时,有一个未标记的数据样本,我们的任务是预测这个数据样本所属的类别,其基本原理是,计算待标记的数据样本和数据集中每个样...
2018-07-26 21:02:01
669
原创 qq音乐爬虫
没事爬点歌来听听,不管收费免费大小通吃,直接上代码,爬取思路在源码注释中import requestsimport randomimport jsonimport timestarturl = 'https://c.y.qq.com/splcloud/fcgi-bin/fcg_get_diss_by_tag.fcg?picmid=1&rnd={0}&g_tk=538...
2018-07-25 18:23:01
2331
1
原创 基础数学系列(一)--似然函数与最大似然估计
1.似然函数(1)离散型若总体X属离散型,其分布律P{X=}=p(),的形式为已知,为待估参数,是可能取值的范围,设是来自X的样本,则的联合分布律为: .又设是相应于样本的一个样本值,易知样本取到观测值的概率,亦即事件{}发生的概率为 ...
2018-07-24 20:03:55
4445
原创 机器学习算法手撕系列(一)----回归算法
一.回归算法是啥子?回归算法是一种有监督算法(有监督是指有确定标签(Y))用来建立“解释”变量(自变量X)和观测值(因变量Y)之间的关系；从机器学习的角度来讲，用于构建一个算法模型(函数)来做属性(X)与标签(Y)之间的映射关系，在算法的学习过程中，试图寻找一个函数使得参数之间的关系拟合性最好。回归算法中算法(函数)的最终结果是一个连续的数据值，输入值(属性值)是一个d维度的属性(数值向量...
2018-07-24 04:23:41
982
原创 智联招聘爬虫
直接上代码吧,爬虫思路写在了注释中import requestsfrom lxml import etreeimport timeimport re''' 1.需求分析 title gsmc gz addr jy xl fuli 入口地址:https://www...
2018-07-20 15:40:58
3116
2
原创 机器学习理论基础
1.过拟合与欠拟合过拟合:指模型很好的拟合训练样本,但对新数据的预测准确性很差欠拟合:模型不能很好的拟合训练样本,且对新数据的预测准确性也不好示例演示:import numpy as npimport matplotlib.pyplot as pltimport sklearn%matplotlib inlinen_dots = 20x = np.linspac...
2018-07-20 00:26:50
334
原创 修改Jupyter Notebook的默认路径(亲测有效,步骤最简单且有效)
1、右键属性修改了快捷方式的起始位置，发现并不能修改默认路径。2、后来发现“目标”中后面有个参数%USERPROFILE%，很明显这个决定了目录，于是我将这个参数删除改成了”D:\jupyter_learn”，然后就可以了，记得带上双引号。也就是目标和起始位置的路径是一样的,一定要把目标后面的参数%USERPROFILE%替换掉!!!!! ...
2018-07-19 00:02:26
9061
19
原创 腾讯招聘网站爬虫
基本请求库requests的使用,基本解析库lxml的使用爬虫程序源代码及爬取过程分析:import requestsfrom lxml import etree'''1.需求分析 获取详细的招聘内容 职位名称 职位类别 人数 地点 发布时间 入口地址:https://hr.tencent.com...
2018-07-18 21:26:18
1705
1
原创 装饰器,生成器,迭代器
一.装饰器本质是函数,(装饰其他函数),就是为其他函数添加新的功能.原则:(1)不能修该被装饰函数的源代码(2)不能修改被装饰的函数的调用方式装饰器知识铺垫:1.函数即变量2.高阶函数 a:把一个函数名当做实参传给另外一个函数(在不修改被装饰函数源代码的情况下为其添加新的功能) b:返回值中包含函数名(不修改函数的调用方式)3.嵌套函...
2018-07-17 22:57:05
169
原创 我的Python学习之路十六:面向对象(二)
取精华,去糟粕;重基础,促创新一.继承1.继承的感性认识 在现实生活中，继承一般指的是子女继承父辈的财产。那么在程序中，继承描述的是事物之间的所属关系，例如猫和狗都属于动物，程序中可以描述为猫和狗都继承自动物。同理，波斯猫和家猫都继承自猫。而斑点狗，泰迪都继承之...
2018-07-16 23:26:47
135
原创 我的Python学习之路十五:面向对象(一)
取精华,去糟粕;重基础,促创新一.编程范式面向过程：根据业务逻辑从上到下写垒代码函数式：将某功能代码封装到函数中，日后便无需重复编写，仅调用函数即可面向对象：对函数进行分类和封装，让开发“更快更好更强…”二.面向对象 面向对象不像面向过程那样按照功能划分模块，它所关注的是软件系统有哪些参与者，把这些参与者称为对象，找出这些软件系统的参与者也就是对象之后，分析这些...
2018-07-16 08:43:32
134
原创 我的Python学习之路十四:函数(三)
取精华,去糟粕;重基础,促创新一.匿名函数 匿名函数：定义函数的过程中，没有给定名称的函数就叫做匿名函数；Python中使用lambda表达式来创建匿名函数。lambda 来创建匿名函数规则: ●lambda只是一个表达式，函数体比def简单很多。 ●lambda的主体是一个表达式，而不是一个代码块，所以不能写太多的逻辑进去。 ●lambda函数拥有自己的命名空间。...
2018-07-14 00:44:06
188
原创 我的Python学习之路十三:函数(二)
取精华,去糟粕;重基础,促创新一.函数返回值1.什么是函数返回值?答:函数并非总是将结果直接输出，相反，函数的调用者需要函数提供一些通过函数处理过后的一个或者一组数据，只有调用者拥有了这个数据，才能够做一些其他的操作。那么这个时候，就需要函数返回给调用者数据，这个就被称之为返回值，想要在函数中把结果返回给调用者，需要在函数中使用return.2.return语句 ret...
2018-04-29 01:25:35
171
原创 我的Python学习之路十二:函数(一)
取精华.去糟粕:重基础,促创新一.定义函数,调用函数1.函数概述 函数是组织好的、可重复使用的、用户实现单一或者关联功能的代码段.函数能够提高应用的模块性和代码的重复利用率.Python提供了很多内置的函数，比如len等等，另外也可以根据自己的业务需求进行用户自定义函数的创建2.函数定义规则 函数代码块以 def 关键词开头，后接函数标识符名称和圆括号()任何传入参...
2018-04-21 02:02:43
173
原创 我的Python学习之路十一:for循环
取精华,去糟粕;重基础,促创新一.for语句的一般语法for是Python中另外一个循环语句，提供了Python中最强大的循环结构，它可以循环遍历任何序列项目，如一个列表或者一个字符串。（sequence可以是列表元组集合，如果是字典只能遍历keys，无法遍历values）1.语法格式 for <variable> in <sequence>: ...
2018-04-20 00:55:02
866
原创 scrapy安装中出现failed building wheel for xxxx的问题解决办法
取精华,去糟粕;重基础,促创新一.在cmd中创建好虚拟环境如下,我进入了我创建好的虚拟环境二.在虚拟环境下用pip install命令安装scrapy出现的问题可能如下:Failed building wheel for lxml Failed building twisted三.解决办法(1) 在http://www.lfd.uci.edu/~gohlke/pythonlibs/有很多用于wi...
2018-04-13 14:21:00
3267
1
原创 我的Python学习之路十:循环语句--while循环
取精华,去糟粕;重基础,促创新一.什么是循环语句?循环语句就是在符合条件的情况下.重复执行一个代码段.Python中的循环语句有while和for. 1.while循环: while是一个条件循环语句，与if一样，他也有条件表达式.如果条件为真，while中的代码就会一直...
2018-04-12 15:46:44
228
原创 我的Python学习之路九:条件控制与循环语句
取精华,去糟粕;重基础.促创新一.什么是条件控制语句1.条件控制语句，也可以称之为判断语句，通过一条或多条的执行结果来决定接下来要执行的代码块.简单的if语句:if语句是用来进行判断的，最简单的if语句只有一个判断一个操作.语法格式:if 条件： 条件成立，执行代码块示例:name='小明'age=19print("----------if语句开始...
2018-04-11 23:18:13
143
原创 我的Python学习之路八:浅拷贝与深拷贝
取精华,去糟粕;重基础,促创新一.浅拷贝与深拷贝1.可变(mutable)参数和不可变(immutable)参数 Python中string、tuple和number是不可变对象，而dict、list等是可变对象；不可变对象在进行重新赋值的时候，实际上是将原始值丢弃，将变量指向一个新值；可变对象的可变性实质上是指更改可变对象中的子对象，比如list中的item元素的更改。2.深拷贝...
2018-04-09 14:28:34
146
原创 我的Python学习之路七:元祖和字典
取精华,去糟粕;重基础,促创新一.元祖1.什么是元祖:Python的元祖和列表类似，不同之处在于元祖的元素不能被修改，而列表的元素可以被修改。也可进行分片和连接操作。元祖使用小括号创建，列表使用方括号创建. 元祖创建格式:元祖名=(元素1,元素2,元素n…….) 例如:students=('jack','tom','john','amy','kim','sun...
2018-04-08 18:37:20
294
1
原创 我的Python学习之路六:列表
取精华,去糟粕;重基础,促创新一.列表的访问 列表是什么:列表是由一系列按特定顺序排列的元素组成，列表能存储多种类型的数据，其中的元素之间可以没有任何关系列表的索引示例如下:二.列表操作 修改列表元素: 修改列表元素的语法和访问列表元素的语法类似，指定列表名和要修改元素的索引，再指定新值.如:以下列表名为：students，需要将jack修改为tom...
2018-04-07 17:11:36
171
原创 我的Python学习之路五:字符串处理
取精华,去糟粕;重基础,促创新一.输入与输出函数 print(*values, sep=' ', end='\n', file=sys.stdout, flush=False)*values : 表示要打印的值 表示任何多个无名参数, 各个值之间用‘,’(逗号隔开)，打印出来各个值之间用空格隔开sep=‘’： 表示当输入多个打印的值时，各个值之间分割方式， 默认空格，可以自...
2018-04-06 22:42:59
193
原创 我的Python学习之路四:数据类型和运算符
取精华,去糟粕;重基础,促创新一.数据类型(1)Number intPython可以处理任意大小的整数，当然包括负整数，在程序中的表示方法和数学上的写法一模一样。 float浮点数也就是小数，之所以称为浮点数，是因为按照科学记数法表示时，一个浮点数的小数点位置是可变的。complex一个实数和一个虚数的组合构成一个复数。 boolbool值是特殊...
2018-04-05 23:05:57
164
原创 我的Python学习之路三:注释和变量
取精华,去糟粕;重基础,促创新!一.注释引例: 注释的作用: 1.增加程序的可读性2.作为调试用3.提高团队的合作效率注释的分类: 1.单行注释 以井号（#）开头，右边的所有内容当做说明 2、多行注释 以三对单引号（’’’注释内容’’’）将注释包含起来其他语法: Python的语法比较简单，采用缩进的方...
2018-04-03 00:33:12
505
原创 我的Python学习之路二:环境及编辑工具安装
取精华,去糟粕;重基础,促创新安装Python: 下载地址:https://www.python.org/downloads/ 根据自己的windows版本下载对应的安装程序 运行Python:1.打开命令提示符-快捷键（windows+R，敲入cmd）2.敲入python，回车 安装Anaconda: 下载地址:htt...
2018-04-01 23:02:54
242
原创 我的Python学习之路一:Python简介
取精华,去糟粕;重基础,促创新!起源: Python的作者是著名的“龟叔”Guido vanRossum，他希望有一种语言，这种语言能够像C语言那样，能够全面调用计算机的功能接口，又可以像shell那样，可以轻松的编程。龟叔从ABC语言看到希望，ABC语言是由荷兰的数学和计算机研究所开发的。龟叔也参与到ABC语言的开发。由于一系列原因ABC并没有快速传播使用。因此，龟叔开始写...
2018-03-16 01:29:27
178
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人