学习笔记
诸葛云长true
大数据开发,基于java、hadoop、spark
展开
-
hdfs常用命令
查看目录大小hdfs dfs -du /TransferData/ | awk '{ sum=$1 ;dir2=$2 ; hum[1024**3]="Gb";hum[1024**2]="Mb";hum[1024]="Kb"; for (x=1024**3; x>=1024; x/=1024){ if (sum>=x) { printf "%.2f %s \t %s\n",sum/x,hum原创 2015-08-26 09:52:05 · 329 阅读 · 0 评论 -
spark(java)实现rsa加密
spark的rsa公钥加密原创 2017-03-24 11:31:29 · 1162 阅读 · 0 评论 -
linux下mysql定时备份
环境centos:6.6工作目录:/usr/local/mysqlbak/数据目录:/usr/local/mysqlbak/mybackup1、编写备份脚本,在工作目录下输入vim mysql_backup.sh,编辑备份脚本:#!/bin/shdb_user="root"db_passwd="password" //换成root密码db_host="loca原创 2016-03-23 16:00:15 · 314 阅读 · 0 评论 -
oozie4.3.0安装过程(支持python spark action)
因本人工作环境需要用到oozie的spark action,oozie4.2.0不支持workflow工作流目录lib子目录下的jar包自动加载,故采用oozie-master的源码(版本为oozie 4.3.0-SNAPSHOT),同时为使oozie spark action支持python文件,本人修改了若干源码,将在后面加以说明1、安装环境centos: 6.6jdk原创 2016-03-11 10:42:35 · 5302 阅读 · 2 评论 -
root用户下如何设置免密登录(一些细节)
1、常规情况这篇文章讲得很清楚了,配置好了若无问题,后面可以不看 集群环境ssh免密登录: http://www.cnblogs.com/ivan0626/p/4144277.html2、若登录有问题,可以使用ssh -v hostname 调试,若有问题,查看/var/log/secure , 若出现“bad owner or permissions on ssh c原创 2015-12-11 14:46:35 · 4240 阅读 · 0 评论 -
centos下执行jar程序
1、编写执行脚本run.shjarsPath=test.jarfor i in lib/*.jar;do jarsPath=$i:$jarsPath;donejava -classpath jarsPath main.startTest2、运行脚本nohup sh run.sh &原创 2015-10-22 11:41:25 · 658 阅读 · 0 评论 -
java下如何执行mongodb的db.currentOp
步骤:1、先连接到数据库MongoClient mongoClient = new MongoClient("***.***.***.***", 27017);DB db = mongoClient.getDB("testDB");2、执行命令if (db!=null) { //查询条件q可以把需要的过滤出来 DBObject q = new BasicDBObje原创 2015-11-17 16:00:13 · 1520 阅读 · 0 评论 -
spark下读写lzo文件(java)
1、编译安装hadoop-lzo这个网上已经说的很详细了,具体可以参考这个链接:hadoop使用LZO压缩http://running.iteye.com/blog/9698002、具体如何配置lzo,上面的文档已经有了,但是为了讨论问题,这里再复制一下:a、修改hadoop配置文件core-site.xml Xml代码原创 2015-10-15 16:52:27 · 9360 阅读 · 1 评论 -
mongodb常用语句
1、根据时间查找db.test.find{ Ut:{$lte:ISODate("2014-12-30T15:59:59.999Z"), $gte:ISODate("2014-12-29T16:00:00.000Z")}});原创 2015-08-26 11:43:22 · 375 阅读 · 0 评论 -
centos6上安装ambari 2.5.0.3
centos6上安装ambari 2.5.0.3原创 2017-09-04 15:59:38 · 783 阅读 · 1 评论