super-yong的博客

Linux定时任务    at命令    设置时间         at    10：00        进入at命令后，输入你需要在10：00执行的命令        mkdir -p  /home/super/yc/abc    退出保存：    注意：当你Linux环境，按回车键无法删除内容时          使用ctrl+回车键删除    crontab       ...

linux压缩管理    常见的压缩        zip        gzip            后缀名：.gz            压缩：gizp file_path            解压：gunzip file_path            特点：                压缩后源文件消失                不能对目录进行压缩      ...

用户分类：        管理员            uid=0的用是管理员            root   :x:0:0:root:/root:/bin/bash            用户名 :密码：Uid:Gid:家目录：所有的shell        普通用户            huadian:x:500:500:huadian:/home/huadian:/bin/...

文本编辑器        vi file_path            编辑一个不存在的文件，保存之后，默认会被船舰        三种模式            命令行模式：                第一次进入vi，默认进入命令模式                快捷键命令：                    yy：复制当前行                    前...

一、Java 8 Lambda 表达式Lambda 表达式，也可称为闭包，它是推动 Java 8 发布的最重要新特性。Lambda 允许把函数作为一个方法的参数（函数作为参数传递进方法中）。使用Lambda 表达式可以使代码变的更加简洁紧凑。1.1 语法lambda 表达式的语法格式如下：(parameters) -> expression或(parameters) -...

HBase架构组件从物理结构上讲，HBase由三种类型的服务器构成主从式架构。Region Servers为数据的读取和写入提供服务。当访问数据时，客户端直接和Region Servers通信。Region的分配，DDL (create, delete tables)操作有HBase Master进程处理。Zookeeper是HDFS的一部分，维护着一个活动的集群。Hadoop DataN...

 Namenode职责：1、响应客户端请求2、维护目录树3、管理元数据（查询，修改）

今天在思考mapreduce程序运行的过程时，发现对这块有点乱，所以总结一下，hadoop下运行mapreduce程序的详细过程··· ···首先在运行一个mapreduce程序时，必须启动相应的服务，也就是各个节点：1.Hadoop中hdfs的两个节点：NameNode、DataNode。2.Hadoop中yarn的两个节点：ResourceManager、NodeManager。...

没什么好解释的，纯粹的干货分享。。。Hadoop：    1.Hadoop的四大模块:        1.common:基础模块，用于支撑其他模块        2.mapruedce：分布式计算框架        3.YARN：分布式资源调度框架        4.HDFS：分布式文件系统            2.端口：        1.HDFS：8082 webUI端口...

并发和并行从宏观上来讲都是同时处理多路请求的概念。（同一时间点开始的）并行与并发的区别：1. 并行是指两个或者多个事件在同一时刻发生  并发是指两个或多个事件在同一时间间隔内发生。2. 并行是在不同实体上的多个事件             并发是在同一实体上的多个事件。3. 在一台处理器上“同时”处理多个任务             在多台处理器上同时处理多个任务（hadoop分布...

计数器输出运行完毕作业之后的计数器输出内置计数器hadoop为每个作业提供了若干内置计数器，用以描述各项指标。文件系统计数器所属类：org.apache.hadoop.mapreduce.FileSystemCounterBYTES_READ：文件系统读取的字节数BYTES_WRITTEN：文件系统写的字节数FileInputFormat任务计数器所属类：or...

分布式部署    机器准备            ip ：                      hostname：                                          Memory    Core：        192.168.59.162     bigdata-hpsk02.huadian.com bigdata-hpsk02    2G      ...

首先打开已经安装好的Linux系统打开终端 输入hostname以查看你现在的主机名 输入下面的命令进入该文件来修改主机名修改为你想要主机名：        Esc键和“：wq” 来保存你的修改，主机名修改后需要重新启动才能查看到修改后的主机名，因后面还需要配值网络坏境，所以我先不重启，想立马看到效果的朋友可以重启来查看。网络配置：为了更好的访问网络...

前期的准备：1.准备虚拟机（VMware12）2.准备linux镜像（本篇以CentOS-6.4-x86_64-bin-DVD1.iso镜像作为配置演示）开始配置：打开虚拟机：选择  创建新的虚拟机   全名是你在登录时屏幕显示登录名，用户名才该系统下正真的用户，注意：密码即是该用户的密码，同时也是root管理员的密码。在配置处理器中，要...

基础命令：        ls -al（-a显示隐藏的文件，-l（长格式）显示详细信息文件大小）        ls -l ===ll        cd         pwd（打印当前目录）        clear ===ctrl+l        history（查看历史命令）        touch（创建文件）、mkdir -p（创建目录-p参数是使目录递归创建）   ...

#!/bin/shecho -e "First"tar -zxf /opt/softwares/jdk-8u91-linux-x64.tar.gz -C /opt/modules/echo -e "Second"echo "#JAVA_HOME">>/etc/profileecho "export JAVA_HOME=/opt/modules/jdk1.8.0_91"&gt...