- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 CDH-Hadoop集群CentOS下的搭建(离线安装)
说明：在本地虚拟机环境中进行CDH5.7.2集群的搭建，在搭建之前请先在虚拟机上装好三台CentOS7，三台内存分别为8g,2g,2g，博客为原创，转载请标明出处，另外由于各环境有版本等情况不同，大家在安装时特别是第一次安装的时候可能遇到的坑与我遇到的不一样，这个时候要仔细看下agent和server的日志种是否有报错然后可以网上查找解决办法准备JDK环境 版本：jdk-8u101-
2016-09-24 09:53:10
39650
29
转载 Shell：环境变量
转自:http://blog.csdn.net/p106786860/article/details/51318467在大家初次接触到Linux系统中，相信环境变量会让你头疼不已。习惯了在Windows设置PATH的你，被Linux上各种文件可以设置环境变量头疼不已！对于可以在当前用户执行的命令，但是sudo就无法执行困惑不堪！下面，我们就系统的和大家讲解下Linux的环境变量，让大家豁然开朗
2016-09-24 22:04:39
635
原创 Linux CentOS系统MySQL的安装
linux环境：使用CentOS7使用RPM包进行安装1、下载mysql安装包，版本为5.6.26 地址： http://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar 2、将下载后的包上传到安装好CentOS虚拟机上去，然后将包解压出来[root@locahos
2016-09-24 17:15:09
2297
原创 Spark程序进行单元测试-使用scala
Spark 中进行一些单元测试技巧：最近刚写了一点Spark上的单元测试，发现一些小技巧，示例有是一些简单的伪代码，有问题或者不对的欢迎指正，有其他也欢迎补充rdd测试spark程序一般从集群中读取数据然后通过rdd进行转换，这其中涉及到集群，每次修改bug，上传到集群再运行测试，代价还是挺大;所以尽可能先本地进行单元测试，以减少在集群上运行时错误,特别是map等各种tranforms动作的逻辑错误
2016-09-24 14:42:05
6705
原创 Linux下shell计算两个日期之间的时间天数差，并获取出中间的日期
整个Shell脚本写法如下THIS_PATH=$(cd `dirname $0`;pwd)cd $THIS_PATH##要求传入的数据格式为yyyyMMdd的两个开始和结束参数，如20160901 20160910start=$1end=$2##将输入的日期转为的时间戳格式startDate=`date -d "${start}" +%s`endDate=`date -d "${end
2016-09-19 23:19:53
26542
1
原创 Linux下Shell命令加减乘除计算
使用 expr命令 （其中做乘的时候*号要用斜杠进行转义）除于[hadoop-user@hadoop1]$ echo `expr 9 / 3`3加[hadoop-user@hadoop1]$ echo `expr 9 + 3`12减[hadoop-user@hadoop1]$ echo `expr 9 - 3`6乘以[hadoop-user@hadoop1]$ echo `expr
2016-09-19 23:08:00
19408
原创 Spark 获取jdbc Rdd
Spark中获取Jdbc的RDD有两种方式：一种是内置了JdbcRDD类，通过new该类就能对通过Jdbc读取数据并且转换成Rdd，另一种是通过SparkSQL中SQLContext jdbc方法获取DataFrame，然后其中第一种方法在1.3和1.5基本一样，其构造函数如下：class JdbcRDD[T: ClassTag]( sc: SparkContext,
2016-09-19 22:57:41
1347
原创 Linux下Shell中日期格式使用
获取当前日志(一般默认是CST标准格式)-bash-4.1$ dateTue Sep 13 09:56:58 CST 2016获取特定以特定格式(date + ‘format’，注意格式的大小写表示了不同格式)-bash-4.1$ date +'%Y-%m-%d'2016-09-13-bash-4.1$ date +'%Y%m%d%H'2016091309获取昨天的日期(其中表示格式的”+’
2016-09-14 22:12:48
1755
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人