Hive的安装部署 1 安装1.1 derby版hive直接使用1、解压hivecd /export/softwarestar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C …/servers/2、 直接启动 bin/hivecd …/servers/cd hive-1.1.0-cdh5.14.0/bin/hivehive> create database...
Hive基本概念 1.1 Hive简介什么是Hive是一个基于hadoop的数据仓库工具，可以将结构化数据映射成一张数据表，并提供类SQL的查询功能。Hive的意义是什么背景：hadoop是个好东西，但是学习难度大，成本高，坡度陡。意义（目的）：降低程序员使用hadoop的难度。降低学习成本。Hive可以对数据进行存储与计算存储使用HDFS存储计算使用MapReduce进行计算。Hive的特性1...
MapReduce初体验 MapReduce计算框架并行计算框架一个大的任务拆分成多个小任务，将多个小任务分发到多个节点上。每个节点同时执行计算。MapReduce核心思想分而治之，先分后和：将一个大的、复杂的工作或任务，拆分成多个小的任务，并行处理，最终进行合并。MapReduce由Map和Reduce组成Map: 将数据进行拆分Reduce:对数据进行汇总WordCount计算统计单词出现...
HDFS文件读写流程 文件写入过程1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；2、 client请求第一个block该传输到哪些DataNode服务器上；3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C；4、 client请求3台...
Linux笔记(11)--hadoop集群搭建 第一步：上传压缩包并解压cd /export/softwares/mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gztar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C …/servers/第二步：查看Hadoop支持的压缩方式以及本地库第一台机器执行以...
Linux笔记(10)--局域网yum源 安装httpd服务yum list | grep httpd ##查找yum -y install httpd.x86_64 ##安装http服务关闭防火墙service iptables stop测试service httpd start #开启httpd服务准备软件包将软件包放入http服务的根目录 /var/www/html创建一个挂载点 mkdir /mn...
Linux笔记(9)--集群相关配置 集群1. 新增linux系统第一步: 克隆虚拟机第二步: 更改新增系统的mac地址vim /etc/udev/rules.d/70-persistent-net.rules第三步: 更改网卡信息vim /etc/sysconfig/network-scripts/ifcfg-eth0第四步: 重启系统生效reboot2. 三台机器 关闭防火墙# 查看防火墙的...
Linux笔记(8)--jdk、tomcat、mysql安装 1. 安装jdk 上传解压 JDK安装包 mkdir -p /export/soft mkdir -p /export/install 创建java的配置文件 在/etc/profile.d目录内创建java.sh文件，编辑一下内容export JAVA_HOME=/export/install/jdk1.8.0_144 （java 解压后的路径）e...
Linux笔记(7)--yum yum1. 常用命令命令含义yum list | grep 需要的软件名查询服务器是否有需要安装的软件yum -y install需要的软件包 下载安装yum -y remove需要卸载的软件包 卸载yum repolist列出设定yum源信息yum clean all清除yum缓存信息2. 制作本地yum源# 切换到保存yum信息...
Linux笔记(6)--rpm rpm 软件包管理器1. rpm包 的 查询命令选项英文含义-qquery查询-aall所有-iinfo信息-llist显示所有相关文件-ffile文件, 显示文件对应 rpm 包- 查询已安装的rpm列表rpm -qa | grep XXXrpm -qa | less- 查询软件包信息rpm -qi 软件全包...
Linux笔记(5)--挂载新的硬盘 1 挂载新的硬盘1.1 步骤第一步: 了解linux系统分区的原理第二步: 查看系统分区情况第三步: 虚拟机 增加 硬盘第四步: 分区 第五步: 格式化第六步: 挂载 第七步: 设置重启后 挂载不失效1.2 实现第一步: 了解linux系统分区的原理一个硬盘可以分成多个分区用户不能直接操作硬件, 需要 让硬件和系统的目录 建立映射关系(挂载) 才可以操作, 称为 挂载...
Linux笔记(4)--shell Shell 编程1 编写脚本新建 /hello.sh 文件#!/bin/bashecho 'hello world'#!是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行，即使用哪一种 Shell。echo 命令用于向窗口输出文本。2 执行shell脚本[root@node01 shells]# sh 01.shhello world[root@node01 she...
Linux笔记(3)--管道命令 管道命令cutsortwcuniqteetrsplitawksed1 cutcut 根据条件 从命令结果中提取对应内容命令含义cut 动作 文件从指定文件 截取内容参数参数英文含义-ccharacters按字符选取内容-d 分隔符delimiter指定分隔符-f n1,n2fi...
Linux笔记(2)--解压缩命令--用户权限命令--系统信息相关命令 1.解压缩命令jar : java rar java项目的压缩包war : web rar web项目的压缩包1.1 第一步: 打包 和 解包1.1.1打包将 一系列文件 打包成 一个大文件tar -cvf 打包名.tar 被打包的目录tar -cvf 打包名.tar 被打包的文件1 被打包的文件2 被打包的文件31.1.2解包将一个打包后...
Linux笔记(1)--VI编辑器命令 VI编辑器vi简介打开和新建文件三种工作模式常用命令查询1 简介1.1 学习vi的目的在工作中, 要对 服务器上的 文件进行 简单 的修改, 可以使用 ssh 登录到远程服务器上, 并且使用 vi编辑器进行简单的编辑即可需要修改的文件包括- 源代码- 配置文件例如: tomcat服务器的配置文件例如: 网卡信息的配置文件在没有图形界面的环境下, 要编辑文件,...
关注
