Linux
文章平均质量分 87
IT狗探求
积累每一份知识,完善每一件事
展开
-
Linux常用命令和VI命令
转载来自:http://blog.csdn.net/xiaoguaihai/article/details/8705992转载 2014-09-04 10:48:00 · 1187 阅读 · 0 评论 -
linux mongodb安装和配置启动图文详解
一.前期准备1.Win7环境下 官网下载Mongodb包本文使用mongodb-linux-x86_64-3.2.12.tgz2.上传mongodb包至linux服务器具体放置到目录:/opt/software二.mongodb安装和配置1.解压和复制mongodb至目录 /usr/local/mongodbcd /opt/softwaretar -zxvf mongodb-linux-x86_64-3.2.12.tgzcp -r mongodb-linux-x86_64-3原创 2017-04-19 12:23:58 · 23601 阅读 · 0 评论 -
linux zookeeper3.4.9集群搭建图文详解
一.前期准备1.1 Win7官网下载zookeeper包本文使用版本zookeeper-3.4.9.tar.gz1.2 配置jdk1.3 centos7集群服务器主机名 系统 IP地址master centos7 192.168.32.128slave01 centos7 192.168.32.131slave02 centos7 192.168.32.132二.zookeeper集群搭建以下操作只针对master主原创 2017-04-20 16:21:36 · 2516 阅读 · 0 评论 -
linux kafka集群配置和测试图文详解
一.前期准备1.1 Win7官网下载kafka包本文使用版本kafka_2.10-0.10.1.0.tgz1.2 配置jdk、scala、zookeeperjdk1.7:linux jdk安装和配置scala2.10.6:linux scala安装和配置zookeeper3.49:zookeeper3.49集群安装和配置jdk,scala,kafka版本要对应1.3 centos7集群服务器主机名 系统 IP地址master centos原创 2017-04-20 17:55:53 · 7291 阅读 · 1 评论 -
linux中hive安装和部署详解
一.前期准备1.1 hadoop版本:Hadoop 2.6.5安装:http://blog.csdn.net/a123demi/article/details/706529591.2 mysql版本:5.6.33 MySQL Community Server (GPL)1.3 mysql驱动包版本:mysql-connector-java-5.1.40-bin.jar1.4 hive安装包官网下载:apache-hive-2.1.1-bin.tar.gz二.hive安装2原创 2017-05-25 19:30:49 · 21391 阅读 · 2 评论 -
linux中sqoop部署以及实现mysql数据导入hive
Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目。下原创 2017-05-25 19:42:48 · 2443 阅读 · 0 评论 -
linux spark分布式集群搭建图文详解
一.前期准备1.1 Win7官网下载spark包本文使用版本spark-1.6.2-bin-hadoop2.6.tgz1.2 配置jdkjdk1.7:linux jdk安装和配置scala2.10.6:linux scala安装和配置hadoop-2.6.5:hadoop分布式集群搭建1.3 centos7集群服务器主机名 系统 IP地址master centos7 192.168.32.128slave01 centos7原创 2017-04-24 19:45:33 · 1837 阅读 · 1 评论 -
linux hadoop完全分布式集群搭建图文详解
一.前期准备1.1 Win7官网下载hadoop包本文使用版本hadoop-2.6.5.tar.gz1.2 配置jdkjdk1.7:linux jdk安装和配置1.3 centos7集群服务器主机名 系统 IP地址master centos7 192.168.32.128slave01 centos7 192.168.32.131slave02 centos7 192.168.32.1321.4 多服务器ssh免密码原创 2017-04-24 19:35:09 · 13601 阅读 · 3 评论 -
linux集成 kafka数据通过flume发送到hadoop
上一篇文章《 linux安装flume和集成kafka测试》,我们介绍了flume安装和集成数据到kafka,本篇文章我们将集成kafka,flume,hadoop,通过flume发送kafka数据到hadoop的hdfs文件。一.前期准备1.1 hadoop安装版本:Hadoop 2.6.5安装: linux hadoop完全分布式集群搭建图文详解1.2 zookeeper安装版本:zookeeper-3.4.9安装: linux zookeeper3.4.9集群搭建图文详解1.3原创 2017-05-23 16:08:23 · 4061 阅读 · 0 评论 -
linux安装flume和集成kafka测试
一.前期准备1.1 kafka+zookeeper集群环境以安装1.2 下载flume本文使用flume1.7下载地址:http://flume.apache.org/download.html二.配置flume2.1 上传flume#上传下载包至/opt/softwarecd /opt/softwarerz apache-flume-1.7.0-bin.tar.gz#解压tar -zxvf apache-flume-1.7.0-bin.tar.gz#复制apache-flume-1原创 2017-05-23 11:31:55 · 4396 阅读 · 1 评论 -
eclipse集成hadoop+spark+hive本地开发图文详解
上一篇文章我们实现了Java+Spark+Hive+Maven实现和异常处理,但当运行直接在Windows系统运行时,会有Hive相关异常的输出,本文将帮助您如何在Windows系统上集成Hadoop+Spark+Hive开发环境。一.开发环境系统:windows 7JDK:jdk1.7eclipse:Mars.2 Release (4.5.2)Hadoop:hadoop-2.6.5Spark:spark-1.6.2-bin-hadoop2.6Hive:hive-2.1.1二原创 2017-05-02 16:38:06 · 6420 阅读 · 3 评论 -
linux scala安装与配置详解
一.配置前准备1.scala运行在jvm虚拟机,需要配置jdk,具体见linux jdk1.8环境配置;2.官网下载scala,本文使用scala-2.11.8二.scala安装和配置1.定位到 /opt/software目录,如果不存在,新增目录mkdir -p /opt/software2.上传scala包到 /opt/software目录3.解压tar -zxvf scala-2.11.8.tgz4.复制解压包到 /usr/local/scala目录cp -r原创 2017-04-17 18:30:46 · 7282 阅读 · 1 评论 -
linux ssh免密码登录详解
一.ssh免密码登陆需求 在我们处理集群或分布式系统时,经常会涉及到多个linux系统服务器。而在多个服务器间通信或资源共享时,如scp命令文件拷贝,需要录入密码校验,使操作过于繁琐,当密码精度过高时,整个操作也方便。 那如何处理多个系统间免密码登陆? 1. 各服务器系统不设置密码,但此安全性不能保证,不推荐。 2.通过ssh实现免密码登陆。二.ssh免密码登陆原理 在客户端服务器通过ssh-gen命令生成一个公钥原创 2017-04-15 23:25:13 · 6009 阅读 · 0 评论 -
新手实现SecureCRT连接Ubuntu
今天利用虚拟机安装了Ubuntu,但在虚拟机中Ubuntu命令模式下操作相关命令不是很方便,当操作过长上面的命令回避覆盖掉。然后就想通过SecureCRT利用SSH连接Ubuntu来操作相关的命令。原创 2014-09-11 19:49:13 · 1448 阅读 · 0 评论 -
Java + Spark SQL + Hive + Maven简单实现和异常问题
一. 前期准备1.linux搭建Java和Scala环境搭建2. linux搭建hadoop+spark+hive分布式集群hadoop分布式集群搭建:hadoop分布式集群搭建spark分布式集群搭建:spark分布式集群搭建hive分布式集群搭建:待完善二.项目代码实现1 需求通过Spark Sql 查询Hive数据库数据数据库:bi_ods;表:owms_m_locator2 maven 项目搭建新增一个Mave project工程maven pr原创 2017-04-25 20:17:43 · 11226 阅读 · 1 评论