会飞的猪的 博客

翻译 磁盘分区

磁盘分区类1 fdisk查看分区         1）基本语法：            fdisk –l            （功能描述：查看磁盘分区详情）            注意：在root用户下才能使用        2）功能说明：                    3）案例2 df查看硬盘         1）基本语法：            df  参数 ...

翻译 用户和用户组管理命令

 用户管理命令    1.1 useradd 添加新用户        1）基本语法            useradd 用户名    （功能描述：添加新用户）         1.2 passwd 设置用户密码        1）基本语法：            passwd 用户名    （功能描述：设置用户密码）    1.3 id 判断用户是否存在        1）基本...

翻译 重定向，echo,软连接

重定向命令1）基本语法：    （1）ls –l >文件        （功能描述：列表的内容写入文件a.txt中（覆盖写））    （2）ls –al >>文件    （功能描述：列表的内容追加到文件aa.txt的末尾）（1）[root@hadoop101 opt]# ls -l>t.txt（2）[root@hadoop101 opt]# ls -l>...

翻译 文件权限

1）从左到右的10个字符表示：如果没有权限，就会出现减号[ - ]而已。从左至右用0-9这些数字来表示:（1）0首位表示类型在Linux中第一个字符代表这个文件是目录、文件或链接文件等等- 代表文件 d 代表目录 c 字符流，装置文件里面的串行端口设备，例如键盘、鼠标(一次性读取装置) s socket p 管道 l 链接文档(link file)； b 设...

翻译 压缩和解压缩

1 gzip/gunzip压缩    1）基本语法：        gzip+文件        （功能描述：压缩文件，只能将文件压缩为*.gz文件）        gunzip+文件.gz    （功能描述：解压缩文件命令）    2）特点：        （1）只能压缩文件不能压缩目录        （2）不保留原来的文件    3）案例        （1）gzip压缩[...

原创 系统管理操作

查看网络IP和网关编辑：1）查看虚拟网络编辑器2）修改ip地址[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0修改前：修改后：DEVICE=eth0HWADDR=00:0C:29:A1:6E:50TYPE=EthernetUUID=0603b5ac-20d5-46d7...

原创 Centos6安装详细过程

原创 安装VMTools工具

1）VM tools顾名思义就是Vmware的一组工具。主要用于虚拟主机显示优化与调整，另外还可以方便虚拟主机与本机的交互，如允许共享文件夹，甚至可以直接从本机向虚拟主机拖放文件、鼠标无缝切换、显示分辨率调整等，十分实用。2）先启动CentOS并成功登录如下图，发现底部提示且窗口中等大小，准备安装 3）选择虚拟机菜单栏--安装VMware tools4）光驱自动挂载VMTo...

原创 Linux的目录结构

/bin：是Binary的缩写，这个目录存放着系统必备执行命令/boot：这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件，自己的安装别放这里/dev：Device(设备)的缩写，该目录下存放的是Linux的外部设备，在Linux中访问设备的方式和访问文件的方式是相同的。/etc：所有的系统管理所需要的配置文件和子目录。/home：存放普通用户的主目录，在Lin...

原创 eclipse集成maven

一、下载 Maven 。请访问Maven的下载页面：http://maven.apache.org/download.html，其中包含针对不同平台的各种版本的Maven下载文件。  注意：    我这里下载的是：apache-maven-3.3.9-bin.zip 版本。 二、解压 maven 压缩包。 解压apache-maven-3...

原创 Weather

需求：每个月气温最高的2天 数据集：1949-10-01 14:21:02 34c1949-10-01 19:21:02 38c1949-10-02 14:01:02 36c1950-01-01 11:21:02 32c1950-10-01 12:21:02 37c1951-12-01 12:21:02 23c1950-10-02 12:21:02 41c195...

原创 Windows下部署hadoop环境

解压： 配置hadoop的环境变量HADOOP_HOMED:\hadoop-2.6.5HADOOP_USER_NAMErootPATH：%HADOOP_HOME%\bin将的bin目录下的文件覆盖到部署目录的bin目录下将hadoop-2.6.5/bin 中的 hadoop.dll  放到 c:/windows/system32下 eclipse插件 ...

原创 Centos6.5安装Mysql在线安装

安装Mysql服务端[root@node01 ~]# yum install mysql-server -y[root@node01 ~]# yum install mysql-server -yComplete![root@node01 ~]# service mysqld start [root@node01 ~]# service mysqld start ...

原创 HIVE服务端和客户端分开

服务端[root@node03 ~]# tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/hadoop/ 配置环境变量export JAVA_HOME=/opt/hadoop/jdk1.8.0_144export HADOOP_HOME=/opt/hadoop/hadoop-2.6.5export ZOOKEEPER_HOME=/o...

原创 HIVE单用户模式安装（服务端和客户端为一体）

单用户模式（mysql）：这种存储方式需要在本地运行一个mysql服务器，并作如下配置（需要将mysql的jar包拷贝到$HIVE_HOME/lib目录下）上传：apache-hive-1.2.1-bin.tar.gz解压：[root@node02 ~]# tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/hadoop/配置环境...

原创 WordCount

MyMapperpackage com.ny.mapreduce;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hado...

原创 HDSF --- Api（一）

目录结构代码展示 package com.ny.hdfs;import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;imp...

原创 hadoop2.6.5完全分布式搭建

集群分布部署Jdk安装（四台机器都需要安装JDK）[root@node01 ~]# rpm -i jdk-7u67-linux-x64.rpm[root@node02 ~]# rpm -i jdk-7u67-linux-x64.rpm[root@node03 ~]# rpm -i jdk-7u67-linux-x64.rpm[root@node04 ~]# rpm -i ...

原创 hadoop2.6.5伪分布式搭建

添加映射修改主机名 安装Jdk配置环境变量export JAVA_HOME=/usr/java/jdk1.7.0_67export PATH=$PATH:$JAVA_HOME/bin ssh免密钥（本机） ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >&gt...

原创 hadoop2.6.5完全分布式搭建(HA)

集群部署（在完全分布式搭建完成后进行的局部修改）搭建zookeeper集群    解压[root@node02 ~]# tar -zxvf zookeeper-3.4.6.tar.gz [root@node02 ~]# mv zookeeper-3.4.6 /opt/hadoop/ 配置环境变量 (node02,node03,nodeo4都需要配置环境变量)export ...

原创 YRAN-HA

集群部署模型 修改配置文件[root@node01 hadoop]# cp mapred-site.xml.template mapred-site.xml[root@node01 hadoop]# vi mapred-site.xml <property> <name>mapreduce.framework.name</name...