强者的博客

原创 配置sudo

1.切换至root用户# visudo2.在一般模式下/root ------> 回车 -------> n (3次)添加: tom ALL=(root) NOPASSWD:ALL3.保存退出

原创 linux Shell

详情请参考:http://www.runoob.com/linux/linux-shell-basic-operators.htmlShell:Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。

原创 Shell基础编程

执行脚本的三种方式:输出变量的三种方式:位置参量表:Shell中的数组:Shell中的date和calShell 中的判断与判断表达式Shell中的循环:

原创 Linux系统管理命令

Linux 系统下磁盘命令,内存查看命令[whj@Linux-whj ~]$ unameLinux[whj@Linux-whj ~]$ uname -r2.6.32-431.el6.x86_64Linux系统下软

原创 linux中的文件

>>>>>>>>文件在Linux系统下,文件的类型(常见的三种类型)*文件-*目录(类似于win7系统下的文件夹)d*连接(类似于win7系统下的快捷方式)l文件的权限*可读r*可写w*可执行(脚本,比如shell的脚本)x特殊字符-表示没有任何权限权限的数字表示方式rw-二进制数字之和的方式R W X2^

原创 远程连接工具

远程连接工具:辅助我们进行使用系统,方便操作远程连接四要素:*Ip地址*用户名*密码*协议 ssh四大远程连接工具:*远程命令行SecureCRT注意事项:当第一次远程连接到linux系统时,进入当前用户的主目录*远程FTP:远程传输协议File Transfer ProtocolFileZilla*远程编辑工具Notepad++Ul

原创 hue与oozie集成

hue与oozie集成1、修改hue的oozie模块[liboozie]# The URL where the Oozie service runs on. This is required in order for# users to submit jobs. Empty value disables the config check.oozie_url=

原创 Hue与RDBMS关系型数据库的集成

Hue与RDBMS关系型数据库的集成[[[mysql]]] //534行，将模块注释打开(注意,要打开注释)# Name to show in the UI.nice_name="My SQL DB"# For MySQL and PostgreSQL, name is the name of the database.# For Oracle, Name is

原创 hue与hive集成

hue与hive集成1、启动hiveserver2服务$ bin/hiveserver2 &2、配置metastore并启动metastore服务当mysql数据库配置在远程端时，本地集群需要启动一个hive的metastore服务进程与远程端的mysql进行通信获取mysql的元数据信息$ vi hive-site.xml

原创 hue与Hadoop的集成

hue与Hadoop的集成1、修改Hadoop相关配置文件hdfs-site.xmldfs.webhdfs.enabled -》默认是开启，所以不再配置dfs.permissions.enabledfalsecore-site.xml 配置hue的访问hdfs的权限 （oozie）hadoop.proxyu

原创 hue的安装部署（编译安装）

一、Hue的架构组件hue-webUI操作界面hue server 进程服务器，与其他的框架进行信息交互通信hue需要一个数据库的支持二、hue的安装部署（编译安装）1、安装编译需要的依赖包，需要链接外网# yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc

原创 hue 大数据的web工具

hue 大数据的web工具cloudera公司开源，用途是为了集成大数据生态系统的其他框架大数据的web工具，提供了一个统一的友好的web交互操作界面集成hive编辑并提交一个hql查询一个hql的执行计划查询hive的元数据信息对hive的查询结果可以提供可视化图标…………hdfs对hdfs上的文件或目录在线进行增删改查（底层调用对应api）yar...

原创 linux中的文件

>>>>>>>>文件在Linux系统下,文件的类型(常见的三种类型)*文件-*目录(类似于win7系统下的文件夹)d*连接(类似于win7系统下的快捷方式)l文件的权限*可读r*可写w*可执行(脚本,比如shell的脚本)x特殊字符-表示没有任何权限权限的数字表示方式rw-二进制数字之和的方式R W X2^

原创 一张图看懂hadoop

原创 Shuffer过程

map ----> partition(分区默认,可修改) ----> sort(排序默认,可修改) -----> combiner(map阶段排序,可选) -----> spill (溢写,默认不可改) -----> meger(合并文件,默认,不可改) -----> compress(压缩,可选) -----> reduce======================Shuff

原创 Linux命令

[whj@localhost Desktop]$用户名 主机名 目录名$ : 普通用户# : root用户 对系统进行管理时需要用root用户在Linux 系统下,查看Ip地址命令ifconfig类似于在window系统下的ipconfiginet addr:192.168.106.129 Bcast:192.168.106.255 Mask:255.2

转载 ElasticSearch 5.X安装部署常见错误以及解决办法

ElasticSearch 5.X安装部署常见错误以及解决办法问题一：[2012-02-08T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter: Java.lang.UnsupportedOperationException: seccomp unavailable: requires ke

转载 FileWritter写入文件

一，FileWritter写入文件FileWritter, 字符流写入字符到文件。默认情况下，它会使用新的内容取代所有现有的内容，然而，当指定一个true （布尔）值作为FileWritter构造函数的第二个参数，它会保留现有的内容，并追加新内容在文件的末尾。1. 替换所有现有的内容与新的内容。new FileWriter(file);2. 保留现有的内容和附加在该文件的末

原创 WebPvMapReduce

###WebPvMapReduce 1package com.myblue.myhdfs;import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoo

原创 DataTotalMapReduce (流量统计)

######流量统计package com.myblue.myhdfs;import java.io.IOException;public class DataTotalMapReduce extends Configured implements Tool {public static class DataTotalMapper extends

原创 WordCountMapReduce 代码

###WordCountMapReduce 1package com.myblue.myhdfs;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoo

原创 MapReduce 典型代码

####### MyHDFS 1package com.myblue.myhdfs;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoo

原创 hadoop Shuffer过程

map ----> partition(分区默认,可修改) ----> sort(排序默认,可修改) -----> combiner(map阶段排序,可选) -----> spill (溢写,默认不可改) -----> meger(合并文件,默认,不可改) -----> compress(压缩,可选) -----> reduce======================Shuff

原创 hadoop HA(热备)

冷备：实时或者周期性从业务服务器备份重要数据，当该业务服务器宕机时，手动启动备份服务器** 业务切换间隔时间比较长热备：实时备份业务服务器备份重要数据，当该业务服务器宕机时，集群会自动切换业务服务器,从而替换掉宕机的服务器** 业务切换间隔时间比较短（秒级）==================NameNode HA========================

原创 MapReduce代码示例

Google三篇论文 HadoopGFS --> HDFSmapreduce --> Mapreducebigtable --> HBaseHadoop** common** HDFS** mapreduce** YARNmapreduce** 分布式离线计算模型** 周期性(每天、每周、每月)分析历史数据** Mapreduce

原创 eclipse集成maven

1、安装maven[tom@blue01 modules]$ tar zxvf /opt/softwares/apache-maven-3.0.5-bin.tar.gz配置MAVEN_HOME：# vi /etc/profile (root用户)MAVEN_HOME=/opt/modules/apache-maven-3.0.5export PATH=$PATH:$MAVE

原创 HDFS结构介绍

HDFS(Hadoop Distributed File System)** block:（见图）** HDFS把文件划分成block存储在不同节点上--默认128M（以前是64M，今后可能会变为256M）--dfs.blocksize属性(hdfs-site.xml)--该属性应该由文件大小的数值分布来决定，比如80%的文件大小为200M左右，那么该值设定为256

原创 eclipse连接hadoop

为了方便管理,工作空间配置到/opt/tools/workspace为了启动快速:设置快捷键:配置maven:设置字体:设置xml字体:创建maven:加载java:将安装目录下的core-site.xml 和 hdfs

原创 centos 相关命令

ifconfig : 查看ipifup eth0 : 重启网卡service network restart : 重启network服务service iptables status : 查看防火墙状态service iptables stop : 关闭防火墙服务service iptables off : 设置防火墙为开机不启动chkconfig

原创 Hadoop集群搭建

====Hadoop集群======================================================** 集群** 伪分布式集群规划：blue01 blue02 blue03HDFS namenode SecondaryNamenodedatanode datanode datanodeYARN resourceman