随笔
文章平均质量分 70
飘的心
这个作者很懒,什么都没留下…
展开
-
Python学习异常检测
# -*- coding: utf-8 -*-"""Created on Mon Aug 21 14:11:22 2017@author: cq"""#python处理异常try : 2/0except Exception,e: #其中e为实例,即错误的实况 print(e) try: a原创 2017-08-21 18:05:35 · 1093 阅读 · 0 评论 -
spark-submit 碰到 Spark-submit:System memory 466092032 must be at least 471859200
在利用spark进行分布式计算时,/home/hadoop/spark/spark-2.4.0-bin-hadoop2.7/bin/spark-submit --master=yarn ALS.py以上代码是在centos7,利用spark集群运行ALS.py代码,结果出现报错:Spark-submit:System memory 466092032 m...原创 2019-07-22 15:44:01 · 277 阅读 · 0 评论 -
linux离线部署python环境
在实际生产中,经常需要离线在服务器上部署python环境。第一步:安装python环境选择安装miniconda3作为python环境。下载Miniconda3-latest-Linux-x86_64.sh之后安装即可,习惯将路径保存为/opt/miniconda3sh Miniconda3-latest-Linux-x86_64.sh第二步:安装离线包第一种方法:在安装离线包时,...原创 2019-07-23 16:23:35 · 1435 阅读 · 0 评论 -
对糖尿病数据进行PCA降维
from sklearn import datasets #加载数据集from sklearn import decompositiondata=datasets.load_diabetes() data=data.datajiangwei=decomposition.PCA(n_components=4) #提取四个主成分jiangwei.fit(data)jiangwe原创 2017-09-01 15:15:43 · 1117 阅读 · 0 评论 -
pthon连接mysql和sqlserver
import pymysqlconn=pymsql.connect(host=host0,user=uid0,password=pwd0,database=db0,charset='utf-8')cur=conn.cursor()cur.excute('insert into table(...) values(...)')#插入数据conn.commit() #原创 2017-08-24 15:57:14 · 284 阅读 · 0 评论 -
Python将数据写入netCDF4中
'''输入的data的shape=(627,652)'''def write_to_nc_canque(data,file_name_path): import netCDF4 as nc lonS=np.linspace(119.885,120.536,652) latS=np.linspace(29.984,29.358,627) da=nc.Datase原创 2017-09-01 14:52:01 · 11153 阅读 · 1 评论 -
Python实现感知器
# -*- coding: utf-8 -*-"""Created on Fri Sep 1 11:56:12 2017@author: piaodexin"""#import pandas as pdimport numpy as np#生成正标签数据x1=np.random.randn(50,2)+40y1=np.ones((50,1))data1=np.hstack原创 2017-09-01 14:45:39 · 1037 阅读 · 0 评论 -
sklean中交叉检验和混淆矩阵
'''今天学习到的东西,、很重要'''#cross_validationfrom sklearn import cross_validationx_train,x_test,y_train,x_test=cross_validation(x,y,test_size=0.25, random_state=0,stratify=y原创 2017-09-05 17:18:36 · 3796 阅读 · 1 评论 -
MYSQL语句读取顺序
在mysql中,读取顺序:开始----from---where----group by---having---order by---select ----limit 例子:原始表格信息:语句:查询成绩有1门以上不及格的学生select name,count(*) as gkfrom aawhere scoregroup by nameh原创 2017-08-23 17:34:50 · 1211 阅读 · 0 评论 -
学习mysql
#创建表格,decimal(10,2) 代表最长10位,小数点后两位create table hydropowermeteorology.hehe(id varchar(20) primary key not null,name varchar(20),math decimal(10,2),english decimal (10,2))#查询表格select *原创 2017-08-23 15:35:01 · 248 阅读 · 0 评论 -
画饼图
"""===============Basic pie chart===============Demo of a basic pie chart plus a few additional features.In addition to the basic pie chart, this demo shows a few optional features:原创 2017-08-22 14:46:24 · 524 阅读 · 0 评论 -
浅谈广义线性回归
首先,广义线性模型是基于指数分布族的,而指数分布族的原型如下 其中为自然参数,它可能是一个向量,而叫做充分统计量,也可能是一个向量,通常来说。 实际上线性最小二乘回归和Logistic回归都是广义线性模型的一个特例。当随机变量服从高斯分布,那么 得到的是线性最小二乘回归,当随机变量服从伯努利分布,则得到的是Logistic回归。 那么如原创 2017-08-22 11:06:12 · 7442 阅读 · 0 评论 -
spark java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
在用spark连接mysql数据库时出现java.lang.ClassNotFoundException: com.mysql.jdbc.Driver报错,可以通过设置–driver-class-path /path/mysql-connector-java-5.1.46.jar来完美解决/home/hadoop/spark/spark-2.4.0-bin-hadoop2.7/bin/spar...原创 2019-08-12 14:03:45 · 3827 阅读 · 2 评论