自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(19)
  • 资源 (2)
  • 收藏
  • 关注

原创 HDFS文件读取异常

HDFS文件读取异常解决

2023-01-30 11:07:59 186

原创 解决Java InputStream has been closed

解决Java InputStream has been closed

2022-09-02 10:46:32 933

原创 解决idea编译Scala版spark异常

出现以下错误:object apache is not a member of package org在Project Structure中的Librari

2021-06-09 11:42:09 1160

原创 解决MySQl开启binlog日志服务问题

出于监控MySQL中数据更新的目的,需要开启binlog,在/etc/mysql/mysql.conf.d/mysqld.cnf目录下添加以下参数:log-bin=/var/lib/mysql/mysql-bin重启服务后发现MySQL服务启动失败,需要在/etc/mysql/mysql.conf.d/mysqld.cnf中再添加参数:server-id=123454指定不与集群中其他机器一样的字符串。这时候重启mysql服务就会成功。...

2020-07-14 13:13:13 545

原创 解决Ubuntu安装CUDF中一系列问题

在使用GPU对pandas加速的情况下需要使用cudf包,在安装和使用CUDF过程中遇到了以下的问题1、conda源中没有cudf安装包:解决方法:由于conda配置的清华源中并没有cudf等安装包,所以需要自己挂载VPN下载2、按照CUDF git上文档给出安装方案安装后出现问题:CUDF官方安装文档上是直接:conda install numba这样导致的问题就是在 import cudf时会出现 can not import six from numba问题原因就在于由于num

2020-07-01 17:30:11 4182 2

原创 解决spark submit jar包出现OM问题

通过执行spark-submit XXX 命令来执行jar包的时候可能会出现以下错误:Java 堆内存溢出,出现这种情况可能是因为spark默认分配给Java driver执行内存不够,需要我们手动设定Java driver内存。解决方案:spark submit命令后添加配置项:--driver-memory 8G...

2020-06-23 11:17:18 347

原创 解决在local模式中提交spark作业至Apache Livy Batch交互模式错误

问题详情:在使用Apache Livy中Batch模式提交Spark作业时,提交json如下:{ "conf":{"spark.master":"local"}, "file":"/home/hadoop/Documents/spark/my_jars/SparkPlatform.jar", "className":"com.application.SparkOperateKv"}其中file对应的是位于spark服务机器上的jar包。这时候会出现如下异常{"msg":"re

2020-06-10 17:04:57 752 1

原创 解决使用java编写spark代码maven打包报错问题

java代码编写好之后,在使用maven将其打为jar包的时候,报错如下:Error:(20,46) java: 无法访问scala.Cloneable原因是在pom.xml文件中添加了如下依赖: <dependency> <groupId>org.scala-lang</groupId> <artifactI...

2020-04-23 15:52:36 331

原创 解决cv2短时间内连续打开电脑前置摄像头报错问题

问题描述:使用opencv3.4.3来开启摄像头,10s之后关闭摄像头,但是cv2.release()之后摄像头依然开启,并未释放(通过观察电脑上面摄像头旁边的指示灯可以知道),然后再次启动摄像头的话会有警告,警告提示如下:[ WARN:0] videoio(MSMF): OnReadSample() is called with error status: -1072873821 ...

2020-04-09 16:09:22 2575 1

原创 python sys.argv的使用

sys.argv 变量保存了程序的文件名和命令行参数的列表sys.argv[0]  :表示此程序文件名sys.argv 用来获取命令行输入的字符,生成列表sys.argv  适用于列表切片例如:sys.argv[:4]表示获得列表中从下表为0到下表为3的一个子列表           sys.argv[1:]表示获得列表中去除文件名的子列表...

2018-03-27 20:36:08 151

原创 Tomcat安装以及配置环境变量

安装tomcat http://tomcat.apache.org/download-70.cgi然后解压到自己的指定路径下需要配置三个变量:(1)在tomcat文件中找到bin文件夹,编辑其中的startup.bat,这其中添加java jdk路径和tomcat安装路径(2)同样是是对bin文件夹中的shutdown.bat进行编辑,同样是添加java jdk路径和tom

2018-01-28 19:11:05 183

原创 安装Uwsgi

在CentOS 7里面安装Uwsgi时通常使用  sudo pip install uwsgi但是可能会遇到问题所以也可以使用   yum -y install uwsgi来安装

2017-12-19 20:35:57 334

原创 pip更新

通过  pip --version         pip2 --version         pip3 --version查看当前pip版本使用   pip install --upgrade pip          pip3 install --upgrade pip进行更新

2017-12-19 19:43:59 138

原创 解决Django网页端口显示被占用问题

运行一个django项目之后再一次运行另一个项目,即输入python manage.py runserver后可能会出项以下错误:ERROR:the port is already in use就是端口还在被占用,无法运行下一个项目可以选择kill进程或者直接关闭所有端口为8000的进程,即输入:sudo fuser -k 8000/tcp这样就可以成功运行下一个项目了

2017-12-05 23:13:33 1990

原创 CentOS配置virtualenv

安装virtualenv:yum install python-virtualenv创建python虚拟环境:virtualenv env1(创建了名为env1的虚拟环境)在本地生成了一个名为env1的文件夹启动虚拟环境:cd env1/source bin/activatepython -V退出虚拟环境:deactive(在li

2017-12-04 20:11:35 723

原创 构造数据集

先行条件:在网站http://oreilly.com/catalog/9780596529321下载函数库调用函数:get_popular(获得一组近期张贴的热门链接)     get_urlposts(返回给定URL的所有张贴记录)  get_userposts(返回给定用户的所有张贴记录)目的:       寻找一组近期提交过的某一热门链接,且链接附带指定标签(tag)的用户fro

2017-11-30 00:20:30 1219

原创 python强大的列表推导式

真的感觉python的列表推导式是一个非常强大的功能(1)创建一个包含1~12的平方的列表:(2)创建一个从1~20能整除5的列表:未完待续

2017-11-23 19:29:24 222

原创 皮尔逊相关度评价

皮尔逊相关系数是判断两组数据与某一直线的拟合程度的一种度量。critics={'Lisa Rose':{'Lady in Water':2.5,'Snacks on a Plane':3.5,'Just My Luck':3.0,'Superman Returns':5.0,'The Night Listener':3.0,'You,Me and Dupree':3.0},'Gene'

2017-11-23 18:50:17 487

转载 欧基里德距离计算相似度评价值

欧几里得距离评价方法已经过人们一致评价的物品为坐标轴,然后将参与评价的人绘制在图上并考察他们彼此距离,计算出每一轴上的差值,求平方后再相加,最后对总和求平方根。critics={'Lisa Rose':{'Lady in Water':2.5,'Snacks on a Plane':3.5,'Just My Luck':3.0,'Superman Returns':5.0,'The Night

2017-11-23 18:36:53 545

MINST数据集

机器学习入门第一件事手写数字识别所需数据集,解压后直接使用

2018-04-11

hbase-lib.tar.gz

hbase-lib.tar.gz,Java操作HBASE 压缩包,自己解压,然后导包

2017-12-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除