- 博客(19)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 解决idea编译Scala版spark异常
出现以下错误：object apache is not a member of package org在Project Structure中的Librari
2021-06-09 11:42:09
1162
原创 解决MySQl开启binlog日志服务问题
出于监控MySQL中数据更新的目的，需要开启binlog，在/etc/mysql/mysql.conf.d/mysqld.cnf目录下添加以下参数：log-bin=/var/lib/mysql/mysql-bin重启服务后发现MySQL服务启动失败，需要在/etc/mysql/mysql.conf.d/mysqld.cnf中再添加参数：server-id=123454指定不与集群中其他机器一样的字符串。这时候重启mysql服务就会成功。...
2020-07-14 13:13:13
545
原创 解决Ubuntu安装CUDF中一系列问题
在使用GPU对pandas加速的情况下需要使用cudf包，在安装和使用CUDF过程中遇到了以下的问题1、conda源中没有cudf安装包：解决方法：由于conda配置的清华源中并没有cudf等安装包，所以需要自己挂载VPN下载2、按照CUDF git上文档给出安装方案安装后出现问题：CUDF官方安装文档上是直接：conda install numba这样导致的问题就是在 import cudf时会出现 can not import six from numba问题原因就在于由于num
2020-07-01 17:30:11
4192
2
原创 解决spark submit jar包出现OM问题
通过执行spark-submit XXX 命令来执行jar包的时候可能会出现以下错误：Java 堆内存溢出，出现这种情况可能是因为spark默认分配给Java driver执行内存不够，需要我们手动设定Java driver内存。解决方案：spark submit命令后添加配置项：--driver-memory 8G...
2020-06-23 11:17:18
348
原创 解决在local模式中提交spark作业至Apache Livy Batch交互模式错误
问题详情：在使用Apache Livy中Batch模式提交Spark作业时，提交json如下：{ "conf":{"spark.master":"local"}, "file":"/home/hadoop/Documents/spark/my_jars/SparkPlatform.jar", "className":"com.application.SparkOperateKv"}其中file对应的是位于spark服务机器上的jar包。这时候会出现如下异常{"msg":"re
2020-06-10 17:04:57
752
1
原创 解决使用java编写spark代码maven打包报错问题
java代码编写好之后，在使用maven将其打为jar包的时候，报错如下：Error:(20,46) java: 无法访问scala.Cloneable原因是在pom.xml文件中添加了如下依赖： <dependency> <groupId>org.scala-lang</groupId> <artifactI...
2020-04-23 15:52:36
334
原创 解决cv2短时间内连续打开电脑前置摄像头报错问题
问题描述：使用opencv3.4.3来开启摄像头，10s之后关闭摄像头，但是cv2.release()之后摄像头依然开启，并未释放（通过观察电脑上面摄像头旁边的指示灯可以知道），然后再次启动摄像头的话会有警告，警告提示如下：[ WARN:0] videoio(MSMF): OnReadSample() is called with error status: -1072873821 ...
2020-04-09 16:09:22
2577
1
原创 python sys.argv的使用
sys.argv 变量保存了程序的文件名和命令行参数的列表sys.argv[0] :表示此程序文件名sys.argv 用来获取命令行输入的字符，生成列表sys.argv 适用于列表切片例如：sys.argv[:4]表示获得列表中从下表为0到下表为3的一个子列表 sys.argv[1:]表示获得列表中去除文件名的子列表...
2018-03-27 20:36:08
152
原创 Tomcat安装以及配置环境变量
安装tomcat http://tomcat.apache.org/download-70.cgi然后解压到自己的指定路径下需要配置三个变量：（1）在tomcat文件中找到bin文件夹，编辑其中的startup.bat，这其中添加java jdk路径和tomcat安装路径（2）同样是是对bin文件夹中的shutdown.bat进行编辑，同样是添加java jdk路径和tom
2018-01-28 19:11:05
183
原创 安装Uwsgi
在CentOS 7里面安装Uwsgi时通常使用 sudo pip install uwsgi但是可能会遇到问题所以也可以使用 yum -y install uwsgi来安装
2017-12-19 20:35:57
334
原创 pip更新
通过 pip --version pip2 --version pip3 --version查看当前pip版本使用 pip install --upgrade pip pip3 install --upgrade pip进行更新
2017-12-19 19:43:59
138
原创 解决Django网页端口显示被占用问题
运行一个django项目之后再一次运行另一个项目，即输入python manage.py runserver后可能会出项以下错误:ERROR:the port is already in use就是端口还在被占用，无法运行下一个项目可以选择kill进程或者直接关闭所有端口为8000的进程，即输入：sudo fuser -k 8000/tcp这样就可以成功运行下一个项目了
2017-12-05 23:13:33
1991
原创 CentOS配置virtualenv
安装virtualenv:yum install python-virtualenv创建python虚拟环境：virtualenv env1（创建了名为env1的虚拟环境）在本地生成了一个名为env1的文件夹启动虚拟环境：cd env1/source bin/activatepython -V退出虚拟环境：deactive(在li
2017-12-04 20:11:35
723
原创 构造数据集
先行条件：在网站http://oreilly.com/catalog/9780596529321下载函数库调用函数：get_popular(获得一组近期张贴的热门链接) get_urlposts(返回给定URL的所有张贴记录) get_userposts(返回给定用户的所有张贴记录)目的： 寻找一组近期提交过的某一热门链接，且链接附带指定标签（tag）的用户fro
2017-11-30 00:20:30
1219
原创 python强大的列表推导式
真的感觉python的列表推导式是一个非常强大的功能（1）创建一个包含1~12的平方的列表：（2）创建一个从1~20能整除5的列表：未完待续
2017-11-23 19:29:24
222
原创 皮尔逊相关度评价
皮尔逊相关系数是判断两组数据与某一直线的拟合程度的一种度量。critics={'Lisa Rose':{'Lady in Water':2.5,'Snacks on a Plane':3.5,'Just My Luck':3.0,'Superman Returns':5.0,'The Night Listener':3.0,'You,Me and Dupree':3.0},'Gene'
2017-11-23 18:50:17
487
转载 欧基里德距离计算相似度评价值
欧几里得距离评价方法已经过人们一致评价的物品为坐标轴，然后将参与评价的人绘制在图上并考察他们彼此距离，计算出每一轴上的差值，求平方后再相加，最后对总和求平方根。critics={'Lisa Rose':{'Lady in Water':2.5,'Snacks on a Plane':3.5,'Just My Luck':3.0,'Superman Returns':5.0,'The Night
2017-11-23 18:36:53
545
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人