大数据整理
无赖小悠
变秃,变强!
展开
-
azkaban编译,linux上面编译azkaban全流程,azkaban使用。
本次编译使用的是azkaban的3.x系列。下载链接:https://github.com/azkaban/azkaban/releases选择zip下载。前提:linux中需要下载安装git1、将下载好的zip包放在linux中,使用解压。2、进入gradlew目录下面的wrapper目录。3、因为在编译的过程中需要下载一个gradle-4.6-all.zip,我们在这里提前下载好,放进去。下载链接:https://services.gradle.org/distributions/grad原创 2020-08-22 02:41:28 · 582 阅读 · 0 评论 -
zookeeper的安装部署以及zookeeper具体使用
1、 因部署的是cdh5的Hadoop版本,因此这里安装的是配套的zk2、 在服务器进行下载: wget http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.16.2.tar.gz3、 解压: tar -zxvf zookeeper-3.4.5-cdh5.16.2.tar.gz -C ../app/ 到另外一个文件夹。4、 在conf目录下复制一个配置文件 cp zoo_sample.cfg zoo.cfg5、 修改配置原创 2020-08-20 22:15:45 · 516 阅读 · 0 评论 -
完美安装nginx、编译nginx、部署及使用。
1、环境下载 在root用户 yum install gcc gcc-c++ automake pcre pcre-devel zlip zlib-devel openssl openssl-devel2、下载nginx 安装包 wget http://nginx.org/download/nginx-1.80.0.tar.gz3、解压安装包: tar -zxvf nginx-1.18.0.tar.gz -C /usr/local/4、改名字 mv nginx-1.18.0 nginx5、编译原创 2020-08-10 23:30:32 · 366 阅读 · 0 评论 -
网络传输过程中大文件的分割以及合并
应用场景:现有一个比较大的文件需要远程传输,但是因为文件比较大,在传输过程中会报错,因此,采用的方案是把大文件切割成一个个小文件,最后再进行合并!我是通过一段Java代码把hdfs的一个500M文件下载到本地,生成两个文件,然后进行合并的。代码如下: @Testpublic void download() throws IOException { FSDataInputStream in = fileSystem.open(new Path("/hdfsapi2/hadoop-2.6.0-原创 2020-07-07 12:03:05 · 598 阅读 · 0 评论 -
企业级mysql完美安装
1、将提前准备好的压缩包解压到 /usr/local(不用创建,已经存在的)tar xzvf mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz -C /usr/local2、换一个文件名mv mysql-5.7.11-linux-glibc2.5-x86_64 mysql3、创建一个目录mkdir mysql/arch mysql/data mysql/tmp4、创建my.cnf(见文件)vi /etc/my.cnf[client]port原创 2020-07-05 13:51:44 · 505 阅读 · 0 评论 -
企业级完美安装JDK
完美安装JDK1、将提前下载好的jdk文件导入到虚拟机中2、建议将jdk安装在 /use/java这个目录下(需要自己创建目录 mkdir /use/java)3、解压文件: tar -zxvf XXXXX -C /usr/java(cdh环境的标配)4、在这里会有一个容易错误的点!!!!一般我们在解压文件之后,它的权限就是 root:root但是你会发现刚才解压后的文件的权限是一串数字 10143 10143如果不处理,后果可想而知处理办法,修改权限chown -R root:ro原创 2020-07-05 13:30:17 · 273 阅读 · 0 评论