- 博客(12)
- 收藏
- 关注
RSS订阅原创 spark上安装graphframes
本文主要介绍在spark中安装graphframes的过程，并使用jupyter和spark-submit做了测试
2017-09-25 18:17:02
8031
2
原创 linux下mysql定时备份
环境 centos：6.6 工作目录：/usr/local/mysqlbak/ 数据目录：/usr/local/mysqlbak/mybackup 1、编写备份脚本，在工作目录下输入vim mysql_backup.sh，编辑备份脚本： #!/bin/sh db_user="root" db_passwd="password" //换成root密码 db_host="loca
2016-03-23 16:00:15
387
原创 oozie4.3.0安装过程(支持python spark action)
因本人工作环境需要用到oozie的spark action，oozie4.2.0不支持workflow工作流目录lib子目录下的jar包自动加载，故采用oozie-master的源码（版本为oozie 4.3.0-SNAPSHOT）， 同时为使oozie spark action支持python文件，本人修改了若干源码，将在后面加以说明 1、安装环境 centos: 6.6 jdk
2016-03-11 10:42:35
5439
原创 root用户下如何设置免密登录（一些细节）
1、常规情况这篇文章讲得很清楚了，配置好了若无问题，后面可以不看 集群环境ssh免密登录: http://www.cnblogs.com/ivan0626/p/4144277.html 2、若登录有问题，可以使用ssh -v hostname 调试，若有问题，查看/var/log/secure , 若出现“bad owner or permissions on ssh c
2015-12-11 14:46:35
4468
原创 java下如何执行mongodb的db.currentOp
步骤： 1、先连接到数据库 MongoClient mongoClient = new MongoClient("***.***.***.***", 27017); DB db = mongoClient.getDB("testDB"); 2、执行命令 if (db!=null) { //查询条件q可以把需要的过滤出来 DBObject q = new BasicDBObje
2015-11-17 16:00:13
1639
原创 centos下执行jar程序
1、编写执行脚本run.sh jarsPath=test.jar for i in lib/*.jar; do jarsPath=$i:$jarsPath; done java -classpath jarsPath main.startTest 2、运行脚本 nohup sh run.sh &
2015-10-22 11:41:25
731
原创 spark下读写lzo文件（java）
1、编译安装hadoop-lzo 这个网上已经说的很详细了，具体可以参考这个链接： hadoop使用LZO压缩 http://running.iteye.com/blog/969800 2、具体如何配置lzo，上面的文档已经有了，但是为了讨论问题，这里再复制一下： a、修改hadoop配置文件core-site.xml Xml代码
2015-10-15 16:52:27
9501
原创 mongodb常用语句
1、根据时间查找 db.test.find{ Ut:{$lte:ISODate("2014-12-30T15:59:59.999Z"), $gte:ISODate("2014-12-29T16:00:00.000Z")}});
2015-08-26 11:43:22
465
原创 hdfs常用命令
查看目录大小 hdfs dfs -du /TransferData/ | awk '{ sum=$1 ;dir2=$2 ; hum[1024**3]="Gb";hum[1024**2]="Mb";hum[1024] ="Kb"; for (x=1024**3; x>=1024; x/=1024){ if (sum>=x) { printf "%.2f %s \t %s\n",sum/x,hum
2015-08-26 09:52:05
415
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人