- 博客(231)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 selenium webdriver 如何添加cookie
get_cookies()#获得cookie信息add_cookie(cookie_dict)#添加cookiedelete_cookie(name)#删除特定(部分)的cookiedelete_all_cookies()#删除所有的cookie
2020-01-02 10:00:48
756
原创 dump、load和dumps、loads的联系与区别
dump、load和dumps、loads的联系与区别1、dump:将dict(字典)转换为str(字符串),并写入json文件中。import jsonDict={'1':1,'一':'一'}json.dump(Dict,open('json.json','w',ensure_ascii=False)#ensure_ascil=False表示输出中文，不加这句话就将字典的的中...
2019-12-31 09:46:55
2617
1
原创 代理池proxypool新版使用教程
1、代开redis数据库，打开proxypool，运行run.py文件2、如果db.py文件报错，可能是redis版本问题，将如下文件改为如下文件即可，或者进行相反操作。3、程序运行成功，在浏览器中访问127.0.0.1:5000/random,网址和端口在setting.py文件中配置，参数random也可能是get,具体参数在db.py文件中寻找。...
2019-12-16 20:58:30
3882
原创 pandas常见错误类型TypeError: bad operand type for unary ~: 'float'
TypeError: bad operand type for unary ~: ‘float’pandas报这个错误是因为数据中含有空值即NA值。将其删除就可以了代码如下import pandas as pdimport numpy as np#加载数据data=pd.read_excel('./qs.xlsx')#如何确定数据里面含有缺失值--缺失值检测#推荐使用insn...
2019-11-26 10:16:19
11535
原创 正则中国邮政
#-*-coding:utf-8-*-import re,json,requestsurl="http://www.ip138.com/post/"headers = { # 伪装成浏览器，防止反爬,通用 'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko...
2019-11-24 14:55:28
263
原创 python正则表达式语法
#-*-coding:utf-8-*-import restr1="hello world my11 phone1 number is 123243331124" \ "I am 18 years old"#re.findall目的就是匹配字符串当中所有满足条件的字符result=re.findall(r"1",str1)#原样匹配，匹配字符原样，通常结合其他...
2019-11-24 14:53:40
196
原创 mongoDB如何将数据导成csv文件?
mongoDB如何将数据导成csv文件?1、代码如下：2、详细参数如下-h：mongo地址-u：用户名-p：密码--port：端口号-d：数据库-c：collection--query：查询条件--fields：需要的字段--type：导出类型-o：输出位置...
2019-11-22 15:52:42
360
原创 中国省市县完整数据
ssxList=[‘北京市’, ‘通县’, ‘东城区’, ‘西城区’, ‘崇文区’, ‘宣武区’, ‘朝阳区’, ‘丰台区’,‘石景山区’, ‘海淀区’, ‘门头沟区’, ‘房山区’, ‘通州区’, ‘顺义区’, ‘昌平区’, ‘大兴区’,‘怀柔区’, ‘平谷区’, ‘密云区’, ‘延庆区’, ‘北京市’, ‘天津市’, ‘蓟州’, ‘滨海新区（原塘沽区）’,‘滨海新区（原汉沽区）’, ‘滨...
2019-11-22 15:31:13
2224
原创 html5基础知识点文本标签
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>$美少女战士$</title></head><body>我是没有加粗的<b>我是加粗标签</b> <!--...
2019-11-22 14:56:20
672
原创 windows下如何启动redis
1、打开命令行，进入redis安装目录2、输入redis-server.exe redis.windows.conf命令3、出现上图，表示redis服务启动成功
2019-11-20 17:40:18
217
原创 如何启动mongoDB并用Robo 3T连接
1、打开命令行，进入mongoDB下的bin目录2、输入mongod --dbpath ../data/db命令3、出现waiting for connections on port 21017说明启动成功4、打开robo3t点击file,点击connect,弹出一个框，在点击connect.5、连接成功如下图所示。...
2019-11-20 16:45:49
1628
原创 python实现多线程的三种方法threading.Thread(模块)的继承实现和函数实现；以及concurrent.futures模块的线程池实现
1、threading.Thread模块继承实现：import threadingimport time class TestThread(threading.Thread): def __init__(self, name): super(TestThread, self).__init__() self.name = name ...
2019-11-11 09:58:17
470
原创 scrapy框架爬虫文件配置
1、去除注释user_agent2、将ROBOTSTXT_OBEY = True改为ROBOTSTXT_OBEY=False;不遵守爬虫协议3、去除实体管道ITEM_PIPELINE的注释
2019-11-08 11:03:05
178
原创 python二分查找
#二分查找a=[2,7,1,3,5,8,3,6,7,15,34]for i in range(len(a)-1): for j in range(i+1,len(a)): if a[i]>a[j]: a[i],a[j]=a[j],a[i]print(a)while True: n=int(input('请输入一个数'))...
2019-10-17 22:04:36
247
原创 无监督学习和监督学习的区别
1、什么是无监督学习？ 无监督学习是机器学习技术中的一类，用于发现数据 中的模式。利用 学习数据的分布或数据与数 据之间的关系被称作无监督学习。2、无监督学习代表算法： 1、k-means算法（聚类算法）3、什么是监督学习?监督学习描述的任务是：当给定输入x,如何通过在有标注输入和输出的数据上训练模型而能够预测输出y...
2019-10-10 21:39:57
3674
原创 算法中分类与聚类的区别？
算法中分类与聚类的区别？(1) 聚类分析研究如何在没有训练的条件下把样本划分为若干类；(2) 在分类中对于目标数据库中存在哪些类是知道的，要做的就是将每一条记录分别属于哪 一类标记出来 ；(3)与分类不同，无监督学习不依赖预先定义的类或带类标记的训练实例，需要由聚类学习 算法自动确定标记，而分类学习的实例或数据样本有类别标记。...
2019-10-10 21:33:34
421
原创 朴素贝叶斯算法和逻辑回归算法的区别？
朴素贝叶斯算法和逻辑回归算法的区别？1.两种算法的模型不同：Naive Bayes是一个生成模型，在计算P(y|x)之前，先要从训练数据中计算P(x|y)和P(y)的概率，从而利用贝叶斯公式计算P(y|x)。 Logistic Regression是一个判别模型，它通过在训练数据集上最大化判别函数P(y|x)学习得到，不需要知道P(x|y)和P(y)。2.两种算法建...
2019-10-10 09:28:33
1870
原创 无监督学习与监督学习的区别
1、什么是无监督学习？无监督学习是机器学习技术中的一类，用于发现数据 中的模式。利用 学习数据的分布或数据与数 据之间的关系被称作无监督学习。2、无监督学习代表算法：1、k-means算法（聚类算法）3、什么是监督学习? 监督学习描述的任务是：当给定输入x,如何通过在有标注输入和输出的数据上训练模型而能够预测输出y 1、通过带有标签的...
2019-10-09 16:00:55
1535
原创 pandas数据处理分组聚合
import pandas as pdimport numpy as np# 加载数据users = pd.read_excel("./users.xlsx")print("users:\n",users)print("users 的列索引：\n",users.columns)print("users 的数据类型：\n",users.dtypes)# 根据班级分组、统计学员的...
2019-10-09 15:02:15
189
原创 根据数据建立分析模型是什么意思
这是数据分析的一般思路。但是通常都是在建立分析模型前，一般都是有预先假设的，比如说我假设 销售人员的学历、工作经验、薪资待遇、年龄这几个方面会对其销售额产生影响。之后我就会根据我的假设来收集数据，然后针对数据进行分析，找出一个合适的数据模型，比如说是线性模型的的话 就用线性回归，如果是非线性模型的话，则建立相应的非线性模型。然后通过模型创建 可以验证假设中哪些是正确的，同时可以找出影响因素的影响...
2019-10-09 11:09:10
717
原创 SOCK_DGRAM(数据报套接字)与SOCK_STREAM(流套接口）的区别
一、SOCK_DGRAM (数据报套接字)特性：1、分组在发送后，可能无序地到达接收端2、分组可能丢失。如果发生丢失，不会采取任何补救的措施，而且接受端也不必知道有分租丢失。3、数据报分组有尺寸大小的限制，如果超出限制，在某些路由器和节点上就无法传送。4、分组是在不建立连接的情况下被发送到远程进程的。二、SOCK_STREAM (流套接口)特性：1、不保留任何消息的边界：举一...
2019-10-09 09:37:10
1017
原创 队列和栈的区别
队列和栈是两种不同的数据结构。它们有以下区别：（1）操作的名称不同。队列的插入称为入队，队列的删除称为出队。栈的插入称为进栈，栈的删除称为出栈。（2）可操作的方式不同。队列是在队尾入队，队头出队，即两边都可操作。而栈的进栈和出栈都是在栈顶进行的，无法对栈底直接进行操作。（3）操作的方法不同。队列是先进先出（FIFO），即队列的修改是依先进先出的原则进行的。新来的成员总是加入队尾（不能从中间插...
2019-10-08 17:21:14
13670
原创 knn算法实现电影分类
KNN英文全称K-nearst neighbor，中文名称为K近邻算法，它是由Cover和Hart在1968年提出来的KNN算法原理：计算已知类别数据集中的点与当前点之间的距离；按照距离递增次序排序；选择与当前距离最小的k个点；确定前k个点所在类别的出现概率返回前k个点出现频率最高的类别作为当前点的预测分#-*-coding:utf-8-*-import numpy as ...
2019-10-08 17:05:35
3554
原创 pandas数据存储于读取
#-*-coding:utf-8-*-import pandas as pd#加载文本数据info=pd.read_table('./meal_order_info.csv',encoding='gbk',sep=',')#默认\t分割#print('info\n',info)#headers=info#index_col设置索引，如[0,1]是将第零列、第一列作为索引#nro...
2019-10-06 15:37:48
135
原创 基于线性回归房价预测散点图和折线图
回归是统计学中最有力的工具之一。机器学习监督学习算法分为分类算法和回归算法两 种，其实就是根据类别标签分布类型为离散型、连续性而定义的。回归算法用于连续型分布 预测，针对的是数值型的样本，使用回归，可以在给定输入的时候预测出一个数值，这是对 分类方法的提升，因为这样可以预测连续型数据而不仅仅是离散的类别标签。 回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示， 这种回归...
2019-09-29 14:33:09
3828
原创 米匡框架实现量化交易炒股
# 可以自己import我们平台支持的第三方python模块，比如pandas、numpy等。import pandas as pdimport numpy as npfrom sklearn.linear_model import LinearRegression # 线性回归算法正规方程求解# 在这个方法中编写任何的初始化逻辑。context对象将会在你的算法策略的任何...
2019-09-29 14:18:42
773
原创 数据分析pandas属性实现统计分析
import pandas as pd#加载数据detail = pd.read_excel("./meal_order_detail.xlsx")print("detail :\n",detail)print("detail 的列索引名称:\n",detail.columns)print("detail 的形状:\n",detail.shape)print("detail 数...
2019-09-26 15:20:25
321
原创 利用tensorflow语法实现线性回归
#-*-coding:utf-8-*-import tensorflow as tf#面向对象class MyLinearRegression(object): def __init__(self): self.leaning_rate=0.1 def build_data(self): """ 构建数据--y=...
2019-09-24 21:26:04
156
原创 深度学习tensorflow变量op
#-*-coding:utf-8-*-import tensorflow as tf#创建变量op#初始化的值intit_value_1=tf.random_normal( dtype=tf.float64, shape=[2,2], stddev=1.0, mean=0.0)intit_value_2=tf.random_normal( d...
2019-09-24 21:12:25
490
原创 深度学习tensorflow框架的张量
#-*-coding:utf-8-*-import tensorflow as tf#默认不进行转化a=tf.constant(3.0,dtype=tf.float32)c=tf.constant([[3.0,4.0],[5.0,7.0]],dtype=tf.float32)b=tf.constant([3.0,4.0],dtype=tf.float32)#张量的形状与np....
2019-09-24 21:06:10
132
原创 深度学习tensorflow框架的会话
1、什么是会话？一个运行 TensorFlow operation 的类。tensorflow的底层是c++实现的，而上层调用使用的是python，所以在使用的时候中间环节需要使用到会话来作为中介，使用python来调用c++代码。2、会话完整流程1.会话初始化2.会话执行op3.关闭会话3、placeholder起到占位的作用，与feed_dict在运行时共同使用，在运行时feed...
2019-09-24 21:02:30
165
原创 人工智能tensorflow图的可视化
1、首先要序列化数据import tensorflow as tf#定义op#op名称op指令空间内是唯一的，如果op名字相同，会给后面的依次加索引#a=tf.constant(3.0,name='a')b=tf.constant(4.0,name='b')d=tf.constant(4.0,name='d')c=tf.add(b,d)#c=a+b#不建议这么使用2...
2019-09-24 20:57:20
330
原创 深度学习tensorflow数据流图基础知识点
一、深度学习与机器学习区别（一）特征提取方面 1、机器学习的特征工程步骤是要靠手动完成的，而且需要大量领域专业知识 深度学习通常由多个层组成，它们通常将更简单的模型组合在一起，通过将数 据从一层传递到另一层来构建更复杂的模型。通过大量数据的训练自动得到模型，不需 要人工设计特征提取环节。 2、深度学习算法试图从数据中学习高级功能，这是深度学习的一个非常独特的部 分。...
2019-09-24 20:44:33
1318
原创 利用米筐量化回测平台实行量化炒股
1、主要属性2、代码# 可以自己import我们平台支持的第三方python模块，比如pandas、numpy等。import pandas as pdimport numpy as npfrom sklearn.linear_model import LinearRegression#线性回归算法正规方程求解# 在这个方法中编写任何的初始化逻辑。contex...
2019-09-21 21:29:03
5360
1
原创 基于线性回归的波士顿房价预测
折线图代码#-*-coding:utf-8-*-import pandas as pdimport numpy as npimport matplotlib.pyplot as plt#加载数据from sklearn.datasets import load_bostonfrom sklearn.model_selection import ...
2019-09-20 23:14:48
2192
原创 数据分析Python：sklearn数据预处理中fit(),transform()与fit_transform()的区别
Fit():Method calculates the parameters μ and σ and saves them as internal objects.解释：简单来说，就是求得训练集X的均值啊，方差啊，最大值啊，最小值啊这些训练集X固有的属性。可以理解为一个训练过程Transform():Method using these calculated parameters app...
2019-09-20 20:40:41
354
原创 KNN算法原理与自实现电影分类
1、KNN简介KNN英文全如称果给定 ，中文名称为K最近邻算法，它是由Cover和Hart在1968年提出 来的作为相似性度量的距离函数一般满足下列性质: 注：这里，X,Y和Z是对应特征空间中的三个点 假设X,Y分别是N维特征空间中的一个点，其中d(X,Y)表示相应的距离函 数，它给出了X和Y之间的距离测度 2、KNN原理1、计算已知类别数据集中的点与当前点之间的距...
2019-09-19 20:35:25
951
1
原创 数据分析词数统计和词的重要程度统计
1、词数统计代码#-*-coding:utf-8-*-import pandas as pdimport numpy as npimport jiebafrom sklearn.feature_extraction.text import CountVectorizer#自己构建文章content=['This i is the first document.'...
2019-09-19 20:09:08
425
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人