- 博客(29)
- 收藏
- 关注
原创 PostGIS以经纬度的格式,插入空间区域、坐标,并以米为单位计算/判断距离
SRID设置为 4326,4326的含义插入坐标点INSERT INTO app(p_id, the_geom)VALUES(2, ST_GeomFromText('POINT(121.060316 35.432044)', 4326));如果已经存在数值格式的经纬度字段,则可以用此方式生成POINT geometry:ST_SetSRID(ST_MakePoint(long, lat), 4326);...
2021-03-22 16:37:04
2109
原创 Linux服务器中将csv、txt文件导入、导出mysql数据库
LOAD DATA INFILE '/var/lib/mysql-files/jjdb_fkdb_all_dropdup_20w.csv'into table `jjdb_fkdb_all_dropdup_20w` character set utf8fields terminated by ',' optionally enclosed by '"' escaped by '"'lines terminated by '\r\n';
2021-01-21 14:51:07
5216
5
原创 Navicat Premium连接远程服务器Mysql,不显示数据库
在本地远程连接Mysql,不显示数据库列表:在远程服务器端,该连接下有3个数据库重点来了!!!解决方案如下:Navicat中右键该数据库连接——>编辑连接:解决了:以上!如果你的问题解决了,欢迎点赞、收藏,一键三连~...
2021-01-14 10:51:50
3272
原创 MYSQL:两个表JOIN形成新表
两个表JOIN形成新表原始表jjdb_test、fkdb_test,新表jjdb_fkdb_testCREATE TABLE jjdb_fkdb_test(SELECT jjdb_test.*,fkdb_test.*FROM jjdb_testJOIN fkdb_testON jjdb_test.jjdbh = fkdb_test.jjdbh_f)
2020-12-15 13:48:05
3538
原创 ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES) mysql本地安装启动报错
启动MYSQL报错网上搜了一大堆,说是配置某文件、删除某文件,都无效。以下亲测有效,PS:MYSQL安装教程ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)说明输入了密码,但是报错。解决办法:再次输入:mysql -u root -p此时让你输入密码:Enter password:此时直接回车,不要输入密码!!!此时直接回车,不要输入密码!!!此时直接回车,不要输
2020-12-04 16:59:22
217
2
原创 Linux服务器配置静态IP地址
1,用VMware打开服务器上的虚拟机,进入linux命令界面2,查看网卡名,如ens160ip addr3,修改网卡配置文件:cd etc/sysconfig/network-scriptsvi ifcfg-ens160此时出现以下界面,按“i”键,进入编辑,增加最后四行,BOOTPROTO更改为“static”,ONBOOT更改为“yes”,按“esc”退出编辑,并输入“:wq”保存:4,重启网络键入:service network restart5,查看Ipip addr
2020-11-06 15:52:52
1805
4
原创 超大json文件拆分
背景:330M的json文件,有大概100w+条数据,内部存在格式问题,需手动替换修改办法:拆分为6个小json文件,代码如下:# 读取大json文件with open('binguan_all.json', 'r', encoding='utf-8') as f1: N = [json.loads(line.strip()) for line in f1.readlines()] # 将数据按照每20w条一份,分别存储 total = len(N)//200000 # 为了
2020-09-10 16:13:13
6815
2
原创 从Mysql数据库中,导出某表的全部columns字段名
问题:数据库里的某个表有几十个字段,如何一次性获取?直接上代码:SELECT column_name FROM information_schema.COLUMNS WHERE table_name = 'score_model_demo';其中“score_model_demo”是我的表名,亲测有效。如果你的问题解决了,欢迎收藏+点赞+关注哦~...
2020-08-12 16:33:39
1533
原创 jupyter notebook nbextensions安装
若网络速度还可以,之间从GitHub下载:pip install https://github.com/ipython-contrib/jupyter_contrib_nbextensions/tarball/master
2020-08-10 17:05:34
626
1
原创 日期时间datetime与时间戳timestamp互相转换
字符串日期时间转换成时间戳# '2015-08-28 16:43:37.283' --> 1440751417def string2timestamp(strValue): d = datetime.datetime.strptime(strValue, "%Y-%m-%d %H:%M:%S") t = d.timetuple() timeStamp = int(time.mktime(t)) timeStamp = float(str(timeStamp)
2020-07-21 11:47:32
5080
1
原创 Mac中设置默认从anaconda路径打开jupyter notebook
背景:近期update了anaconda的所有包,设置了多个虚拟环境。问题:启动terminal后,输入“jupyter notebook”无法打开jupyter,如下:$ jupyter notebook-bash: jupyter: command not found临时解决方案:(激活conda的base环境,下方路径是anaconda的安装路径)$ source ~/anaconda3/bin/activate(base) ccm ~再输入“jupyter notebook”,就
2020-06-29 08:50:11
2453
原创 python中numpy.argsort(),将数组按照大小返回其index
A = array([ 0, 0, 0, 0, 2, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 13, 0, 0, 3, 0, 0, 0, 0, 0, 0, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 4, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
2020-05-20 14:18:24
3534
原创 Pandas经过groupby聚合变为Series后,经过排序返回值最大的前2项(TOP2)
希望返回values对应为5和4的两项,及其对应的longitude和latitude值df_agg1.groupby(['longitude','latitude'])['foot_mark'].sum()运行以上返回:longitude latitude121.258340 37.493010 5121.259149 37.496940 1121.259180 37.502860 1121.264030 37.487900 4121.302646
2020-05-16 12:32:40
436
原创 正则表达式str.extract后多出1列
想extract匹配的项,结果发现返回了2列train.Ticket.str.extract('(([A-Z]+\.?)+\s*\d*)')返回:标题尝试加入 ?: 后,将(?:[A-Z]+.?)看为一个整体,再运行则只返回1列了。train.Ticket.str.extract('((?:[A-Z]+\.?)+\s*\d*)')返回:如果你的问题解决了,欢迎收藏+点赞+关注哦...
2020-04-06 14:46:39
449
原创 seaborn.kdeplot绘制图像显示异常问题
背景:在验证数据集的分布情况时,用kdeplot绘制可视化查看,但发现存在锯齿状、脉冲状的异常图像,乍一看是非常令人费解的。个人数据探索的真实案例(spark环境):from scipy.stats import kstestimport numpy as npimport seaborn as snsimport matplotlib.pyplot as plt# 定义函数kde_...
2020-04-04 15:01:57
3117
原创 Pyspark中对训练集、测试集、验证集进行KS检验
KS检验的目的:验证数据分布特征的一致性因训练集、测试集、验证集在经过split之后,可能出现特征分布不一致的情况,导致模型训练产生不必要的误差和错误通过scipy.stats库,进行KS检验:(假设正在检验的2个数据集拥有同样的分布特征,α=0.05)import numpy as npimport pandas as pdimport seaborn as snsfrom sci...
2020-04-03 22:44:20
2425
原创 pyspark.sql.functions.udf中使用numpy,出现Py4JJavaError错误
背景:pyspark,通过udf定义函数,以辅助添加新列出错原因:udf不能返回numpy类型举例:df.head()Row(artist=‘Martha Tilston’, auth=‘Logged In’, firstName=‘Colin’, gender=‘M’, userId=‘30’, hour=8)# 切割时间,每6个小时为一组get_6hour = udf(lamb...
2020-02-15 10:41:56
577
原创 illegalargumentexception: 'unsupported class file major version 57'
背景:MacBook,本地运行spark,遇到此错误user_log.where(user_log.userId== '1002').collect()返回:illegalargumentexception: 'unsupported class file major version 57'报错原因:JDK版本不对,之前安装的JDK是最新版本的JDK13(jdk-13.0.2)解决办...
2020-02-10 13:16:17
3331
1
原创 progressbar进度条在python中的异常和正确使用方法
conda安装progressbar包conda install -c anaconda progressbarprogressbar的导入和应用(出现异常!)import progressbartotal = 10000000bar = progressbar.ProgressBar(maxval=total+1, widgets=[progressbar.Bar('=', '[',...
2020-01-20 21:32:36
1442
4
原创 【解决方法】EOFError:Compressed file ended before the end-of-stream marker was reached
错误原因文件下载中断后,重新下载,或者文件已经下载完成。解决办法删除已经下载的文件,例如运行此代码时出错:testset = datasets.FashionMNIST('~/.pytorch/F_MNIST_data/', download=True, train=False, transform=transform)**则在电脑中搜索“F_MNIST_data”,将该文件夹删除即...
2019-11-30 14:34:43
6106
原创 torch.sum(),dim=0,dim=1解析
直接上代码:# 定义一个2维张量aa = torch.tensor([[1,2,3],[4,5,6]])print(a)a.shapetensor([[ 1, 2, 3], [ 4, 5, 6]])torch.Size([2, 3])# 2行3列,没毛病dim=0,降维(纵向压缩)b = torch.sum(a,dim=0)print(b)...
2019-11-27 20:01:10
19921
10
原创 TypeError: unhashable type: 'list'解决办法。
错误原因:因为list、set、dict:是不可哈希的什么意思?举2个不同栗子:例1:list_0 = [1,2,3,4]s = set(list_0)print(s)>>>{1, 2, 3, 4}
2019-11-16 16:15:40
96778
1
原创 from collections import Counter()
计数器Counter()的应用示范:from collections import Counterlist_01 = ['A','C','S','A','B','f','S','A']dict_01 = Counter(list_01)print(dict_01)将会直接输出一个字典,内容是列表中的元素及其出现频数:Counter({'A': 3, 'S': 2, 'C': 1, '...
2019-11-16 09:02:23
886
原创 target is multiclass but average='binary'. please choose another average setting.
引用sklearn模型,fit之后进行模型评估时,出现该错误,代码如下:from sklearn.tree import DecisionTreeClassifierfrom sklearn.metrics import f1_scoreregressor = DecisionTreeClassifier(random_state=42)regressor.fit(X_train,y_t...
2019-11-05 18:33:43
5233
1
原创 feature_importances_提取特征重要性的应用
直接上代码!# 在训练集上训练一个监督学习模型model = AdaBoostClassifier(base_estimator=DecisionTreeClassifier(max_depth=3),n_estimators=8)model.fit(X_train,y_train)# 提取特征重要性importances = model.feature_importances_#...
2019-10-29 21:41:11
5645
1
原创 typeerror: 'float' object is not callable问题的解决
首先,这不是个特别难解决的问题,问题出现的原因可能有以下3种:1,因为coding马虎,导致的语法错误!函数/方法调用时的拼写错误! :此情况至少有80%的可能!至少有80%的可能!至少有80%的可能!重要的事情说三遍!2,函数名和变量名一致导致。 如 mean = mean(***)3,运算符号遗漏。 如a = bc 应改为 a= b*c...
2019-10-29 21:35:52
8540
1
原创 sklearn中train_test_split里,参数stratify含义解析
直接上代码:from sklearn.model_selection import train_test_split# 将'features'和'result'数据切分成训练集和测试集X_train, X_test, y_train, y_test = train_test_split(features, result, test_size = 0.2, random_state = 0,...
2019-10-27 15:28:08
29596
18
原创 Python sklearn错误:Expected 2D array, got scalar array instead…Reshape your data…
bmi_life_model.fit(x,y)bmi_life_model.predict(21.079)ValueError: Expected 2D array, got scalar array instead:array=21.079.Reshape your data either using array.reshape(-1, 1) if your data has a ...
2019-10-20 10:42:42
2189
6
原创 python路径拼接os.path.join()
os.path.join()函数:连接两个或更多的路径名组件1.如果各组件名首字母不包含’/’,则函数会自动加上2.如果有一个组件是一个绝对路径,则在它之前的所有组件均会被舍弃3.如果最后一个组件为空,则生成的路径以一个’/’分隔符结尾用法:ebert_review_urls = [‘https://d17h27t6h515a5.cloudfront.net/topher/2017/S...
2019-08-17 10:00:22
1146
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人