- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Oozie工作流之理论篇
Oozie工作流之理论篇简介Apache Oozie 是一个面向Hadoop平台的工作流引擎框架。它能够提供对Hadoop Mapreduce、Pig Jobs、Spark、Sqoop、Hive的任务调度与协调。Oozie工作流是放置在控制依赖DAG(有向无环图Direct Acyclic Graph)中的一组动作，如Hadoop的Map/Reduce作业： 对于Oozie工作流(workflow
2017-04-27 22:50:05
1510
原创 CentOS 7 编译安装Python2.6.1
编译安装步骤很简单，如下：# wget https://www.python.org/ftp/python/2.6.1/Python-2.6.1.tgz# tar zxvf Python-2.6.1.tgz# cd Python-2.6.1# ./configure --prefix=/usr/local# make && make install编译的过程中遇到以下报错信息：gcc -pt
2017-04-16 18:22:29
4117
原创 HDP 2.5集成Sqoop2
前言HDP 2.5默认只有Sqoop 1，而sqoop 1只有客户端，没有服务端，也不能通过Java Api来进行操作，所以需要集成一下Sqoop2，其实这里我们只需要启动Sqoop2的Server端即可。环境CentOS 7.xHDP 2.5JDK 1.8Sqoop1.99.7注：sqoop 1.99.7其实就是Sqoop2配置配置很简单，下载好sqoop2后，解压到一个路径，如：/us
2017-04-09 22:45:27
1495
原创 HDP错误汇总
前言上一篇《HDP 2.5安装搭建部署》主要写了一些关于安装的步骤，但不是每次都能顺利的安装成功了，不可避免总是会报很多错误，这里总结一些错误的解决方法。MySQLmysql数据库驱动找不到错误 以下命令默认以root用户运行# yum install mysql-connector-java -y# ambari-server setup --jdbc-db=mysql --jdbc-driv
2017-04-08 23:11:04
3424
原创 HDP 2.5安装搭建部署
前言HDP 全称Hortonworks Data Platform (HDP)，是Hortomworks公司提供的一个大数据平台，它整合了开源hadoop生态圈的大部分组件，能够很简单便捷的帮助我们搭建起Hadoop大数据集群环境，与此类似的还有CDH(Cloudera Hadoop)。因最近在公司搭建这个，在此记录一下。环境CentOS 7.xJDK 1.8HDP 2.5准备工作安装创建本
2017-04-07 00:58:27
13433
1
原创 CentOS 7 安装MySQL 5.7
前言我个人是比较喜欢Debian，但是由于公司都是用的CentOS的，没办法只能熟悉下CentOS了。今天安装个MySQL数据库，居然踩了好几个坑。在此记录一下。安装环境标题就是，不多说。直接安装，可以使用官方的rpm包离线安装，也可以通过yum来进行在线安装，这里我先使用的是yum的在线安装。 官方安装指引(包含仓库源地址)：https://dev.mysql.com/doc/mysql-yum
2017-04-02 19:48:22
1501
原创 使用Nginx反向代理Jenkins
备忘：location / { proxy_pass http://127.0.0.1:8080; proxy_redirect off; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwa
2017-04-02 17:32:01
2571
原创 Linux应用篇之autofs
前言在Linux系统中，mount是用来挂载文件系统的，可以在系统启动的时候挂载也可以在系统启动后挂载。对于本地固定设备，如硬盘可以使用mount挂载；而光盘、软盘、NFS、SMB等文件系统具有动态性，即需要的时候才有必要挂载。光驱和软盘我们一般知道什么时候需要挂载，但NFS和SMB共享等就不一定知道了，即我们一般不能及时知道NFS共享和SMB什么时候可以挂载。而autofs服务就提供这种功能，好像
2017-04-02 15:58:35
7071
1
docker-credential-pass-v0.6.0-amd64
2018-07-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人