工作笔记
唯pc远方
这个作者很懒,什么都没留下…
展开
-
字符浏览器Elinks快捷键
字符浏览器Elinks快捷键 按Esc键在帮助菜单找到快捷键,翻译一下,备忘,冒号分割符主界面键z:终止连接a:添加到书签A:添加连接到书签s:书签管理器C:缓冲管理器K:cookie管理器Ctrl-K:读取cookieCtrl-Insert:复制到剪贴板=:文档信息D:下载管理器转载 2017-03-01 17:30:24 · 1137 阅读 · 0 评论 -
Sybase IQ,你需要知道的基础
Sybase IQ,你需要知道的基础 Sybase IQ,你需要知道的基础:第一,知道IQ跟其它的关系型数据库相比,它的主要特征是什么?包括查询快、数据压缩比高、Load快,但是插入更新慢,不太适合数据老是变化,它是按列存储的。这时候你就知道它适做DSS(决策支持系统),数据集市,数据仓库,它不适合OLTP。适合OLAP。 第二,知道IQ自身的体系组成,它由Catalo转载 2016-07-15 11:49:02 · 5751 阅读 · 0 评论 -
OLTP和OLAP的区别
OLTP和OLAP的区别联机事务处理OLTP(on-line transaction processing)主要是执行基本的、日常的事务处理,比如数据库记录的增、删、改、查。比如在银行存取一笔款,就是一个事务交易。OLTP的特点一般有:1.实时性要求高;2.数据量不是很大;3.交易一般是确定的,所以OLTP是对确定性的数据进行存取;(比如存取款都有一个特定的金额转载 2016-07-15 11:45:09 · 444 阅读 · 0 评论 -
Linux下制作raid1
Linux下制作raid1raid1是linux服务器最常用的一种硬盘冗余备份的方案,它能在硬盘损坏的情况下保证硬盘数据内的安全。需要至少两块硬盘,最好是完全相同的两块硬盘,所创建的若磁盘中有谁损坏,则备用盘自动替补上去。一、搭建Linux raid1环境1. 准备好要制作raid1的硬盘,至少两块,最好是两块同型号同容量的硬盘。2.转载 2016-04-11 16:45:18 · 1957 阅读 · 0 评论 -
Linux 之Cut命令详解
Linux 之Cut命令详解cut是一个选取命令,就是将一段数据经过分析,取出我们想要的。一般来说,选取信息通常是针对“行”来进行分析的,并不是整篇信息分析的。(1)其语法格式为:cut [-bn] [file] 或 cut [-c] [file] 或 cut [-df] [file]使用说明cut 命令从文件的每一行剪切字节、字符和字转载 2016-04-09 14:52:27 · 316 阅读 · 0 评论 -
MySQL基本数据类型
MySQL基本数据类型类型大小描述char[length]length字节定长字段,长度为0-255个字节varchar[length]string长度+1字节变长字段,在mysql5.03以前,长度为0-255个字节,在5.0.3以后,最大长度为65535字节。一个utf8字符占3转载 2016-04-08 16:02:28 · 309 阅读 · 0 评论 -
MapReduce:详解Shuffle(copy,sort,merge)过程
MapReduce:详解Shuffle(copy,sort,merge)过程Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapRe转载 2016-04-08 11:54:34 · 641 阅读 · 0 评论 -
SQL Join的一些总结
SQL Join的一些总结1.1.1 摘要Join是关系型数据库系统的重要操作之一,SQL Server中包含的常用Join:内联接、外联接和交叉联接等。如果我们想在两个或以上的表获取其中从一个表中的行与另一个表中的行匹配的数据,这时我们应该考虑使用Join,因为Join具体联接表或函数进行查询的特性本文将通过具体例子介绍SQL中的各种常用Join的特性和使转载 2016-03-15 16:23:31 · 244 阅读 · 0 评论 -
Hadoop 的HA高可集群用性
Hadoop 的HA高可集群用性一、 Hadoop 的高可用性1. 概论本指南提供了一个HDFS 的高可用性(HA )功能的概述,以及如何配置和管理HDFS 高可用性(HA) 集群。本文档假定读者具有对HDFS 集群的组件和节点类型具有一定理解。有关详情,请参阅Apache 的HDFS 的架构指南。http://hadoop.apache.org/common/转载 2016-03-15 15:18:05 · 280 阅读 · 0 评论 -
HBase 常用Shell命令
HBase 常用Shell命令进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)> whoami表的管理1)查看有哪些表转载 2016-03-15 13:49:17 · 226 阅读 · 0 评论 -
HBase入门篇
HBase入门篇 目录:1-HBase的安装2-Java操作HBase例子3-HBase简单的优化技巧4–存储5(集群) -压力分载与失效转发6 -白话MySQL(RDBMS)与HBase之间7 -安全&权限1-HBase的安装HBase是什么?HBase是Apache Hadoop中的一个子项目,Hbase依转载 2016-03-15 13:44:52 · 457 阅读 · 0 评论 -
hbase 索引记录
hbase 索引记录根本目的是实时的查询速度从两方面来看:一、HBase自身的原理,机制。二、索引的原理机制。一、HBase:reference:HBase技术介绍|淘宝技术博客http://www.searchtb.com/2011/01/understanding转载 2016-03-25 14:33:13 · 431 阅读 · 0 评论 -
Hive 基础之:分区、桶、Sort Merge Bucket Join
Hive 基础之:分区、桶、Sort Merge Bucket Join目录(?)[+]Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了,虽然也有 Impala 等后起之秀,但目前从功能、稳定性等方面来说,Hive 的地位尚不可撼动。其实这篇博文主要是想聊聊 SMB join 的,Join 是整个 MR/H转载 2016-07-07 10:12:33 · 766 阅读 · 0 评论 -
Namenode HA原理详解(脑裂)
Namenode HA原理详解(脑裂)目录(?)[+]Namenode HA原理详解社区hadoop2.2.0 release版本开始支持NameNode的HA,本文将详细描述NameNode HA内部的设计与实现。 为什么要Namenode HA?1. NameNode High Availability即高可用转载 2016-07-18 11:08:32 · 3793 阅读 · 0 评论 -
Hive 基础之:分区、桶、Sort Merge Bucket Join
Hive 基础之:分区、桶、Sort Merge Bucket JoinHive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了,虽然也有 Impala 等后起之秀,但目前从功能、稳定性等方面来说,Hive 的地位尚不可撼动。其实这篇博文主要是想聊聊 SMB join 的,Join 是整个 MR/Hive 最为核心的部分之一,是每个Hadoo转载 2016-12-30 15:45:09 · 732 阅读 · 0 评论 -
Linux下date命令,格式化输出,时间设置
date命令的帮助信息 [root@localhost source]# date --help用法:date [选项]... [+格式] 或:date [-u|--utc|--universal] [MMDDhhmm[[CC]YY][.ss]]以给定的格式显示当前时间,或是设置系统日期。 -d,--date=字符串 显示指定字符串所描述的时间,转载 2016-12-12 19:24:48 · 425 阅读 · 0 评论 -
数据仓库的建模A
数据仓库的建模A |数据仓库是用来分析数据并且从现有数据中发现新的价值,主要是用来预测未来的情况。数据仓库并不是解决所有问题的通用结构。它必须集中于某一问题领域,例如航空服务、顾客收益等。数据仓库也有有趣的一面,那就是数据库本身是稳定增长的。数据没有被删除,也不发生变更。我们不需要将冗余数据置于数据库之外(因为加入仓库中的数据经过了数据转载 2016-11-08 15:36:27 · 602 阅读 · 0 评论 -
JDK内置工具使用
JDK内置工具使用JDK内置工具使用一、javah命令(C Header and Stub File Generator)二、jps命令(Java Virtual Machine Process Status Tool)三、jstack命令(Java Stack Trace)四、jstat命令(Java Virtual Machine S转载 2016-08-26 11:28:40 · 258 阅读 · 0 评论 -
HBase高性能复杂条件查询引擎
HBase高性能复杂条件查询引擎写在前面本文2014年7月份发表于InfoQ,HBase的PMC成员Ted Yu先生参与了审稿并于给予了肯定。该方案设计之初仅寄希望于通过二级索引提升查询性能,由于在前期架构时充分考虑了通用性以及对复杂条件的支持,在后来的演变中逐渐被剥离出来形成了一个通用的查询引擎。Ted Yu对“查询决策器”表示了关心,他指出类似的组件同时也是Phoenix, I转载 2016-09-01 10:44:40 · 1195 阅读 · 0 评论 -
SQL中Where与Having的区别
SQL中Where与Having的区别“Where” 是一个约束声明,使用Where来约束来之数据库的数据,Where是在结果返回之前起作用的,且Where中不能使用聚合函数。“Having”是一个过滤声明,是在查询返回结果集以后对查询结果进行的过滤操作,在Having中可以使用聚合函数。 在说区别之前,得先介绍GROUP B转载 2016-08-31 19:11:58 · 314 阅读 · 0 评论 -
nc 常用命令
nc 常用命令nc(NetCat),在网络工具中有”瑞士军刀”的美誉,它短小精悍,功能强大,下面分享一些我平时经常用到的功能,更多的功能请google之。1.基本参数想要连接到某处: nc [-options] hostname port[s] [ports] …绑定端口等待连接: nc -l -p port [-options]转载 2016-08-08 13:24:57 · 914 阅读 · 0 评论 -
LSM树(Log-Structured Merge Tree)存储引擎
LSM树(Log-Structured Merge Tree)存储引擎代表数据库:nessDB、leveldb、hbase等核心思想的核心就是放弃部分读能力,换取写入的最大化能力。LSM Tree ,这个概念就是结构化合并树的意思,它的核心思路其实非常简单,就是假定内存足够大,因此不需要每次有数据更新就必须将数据写入到磁盘中,而可以先将最新的数据驻留在磁盘中,等到积累到最后多之后,转载 2016-08-03 17:29:25 · 43937 阅读 · 6 评论 -
docker命令的使用
docker命令的使用 1、直接输入docker命令来查看所有的Options和Commands。 查看某一个command的详细使用方法:docker COMMAND --help 2、搜索可用的docker镜像:docker search NAME 3、下载镜像:docker pull NAME[:TAG]转载 2016-08-03 17:05:46 · 1280 阅读 · 0 评论 -
jstack命令(Java Stack Trace)
jstack命令(Java Stack Trace)JDK内置工具使用一、javah命令(C Header and Stub File Generator)二、jps命令(Java Virtual Machine Process Status Tool)三、jstack命令(Java Stack Trace)四、jstat命令(Java转载 2016-07-19 16:21:31 · 444 阅读 · 0 评论 -
MapReduce 中的两表 join 几种方案简介
MapReduce 中的两表 join 几种方案简介1. 概述在传统数据库(如:MYSQL)中,JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作,同样常见且耗时,由于Hadoop的独特设计思想,当进行JOIN操作时,有一些特殊的技巧。本文首先介绍了Hadoop上通常的JOIN实现方法,然后给出了几种针对不同输入数据集的优化方法。2. 常转载 2016-07-07 10:38:07 · 354 阅读 · 0 评论 -
Linux下面新增硬盘
Linux下面新增硬盘1 把硬盘接上2 重启系统,如果系统不能识别还要设置一下bios3 用fdisk查看 fdisk -l,可以看到多了一块硬盘,并且告诉我们没有分区信息4 用fdisk 进行分区,如 fdisk /dev/sdb 5 格式化新分区 如mkfs.ext3fs ***, mkfs.reiserfs ***6 mount7如果想要在转载 2016-03-25 10:04:54 · 329 阅读 · 0 评论 -
如何把一个命令加入到某个用户sudo的列表中
如何把一个命令加入到某个用户sudo的列表中标签: uservim2011-09-22 18:51 4577人阅读 评论(2) 收藏 举报版权声明:本文为博主原创文章,未经博主允许不得转载。 有时候我们只需要执行一条root权限的命令也要su到root,是不是有些不方便?这时可以用sudo代替。默认新建的用户不在sudo组,需要编辑/etc/sudoers文件将转载 2016-03-24 20:52:42 · 4227 阅读 · 0 评论 -
Linux添加/删除用户和用户组
Linux添加/删除用户和用户组本文总结了Linux添加或者删除用户和用户组时常用的一些命令和参数。1、建用户:adduser phpq //新建phpq用户passwd phpq //给phpq用户设置密码2、建工作组groupadd test转载 2016-03-24 20:27:29 · 411 阅读 · 0 评论 -
dd命令使用详解
dd命令使用详解1.命令简介 dd 的主要选项:指定数字的地方若以下列字符结尾乘以相应的数字:b=512, c=1, k=1024, w=2, xm=number mif=file #输入文件名,缺省为标准输入。 of=file #输出文件名,缺省为标准输出。 ibs=bytes #一次读入 bytes 个字节(即一个块大小为 bytes 个字节)。 obs转载 2016-03-31 17:08:46 · 524 阅读 · 0 评论 -
hdfs简介
hdfs简介Hadoop是一个能够对大量数据进行分布式处理的软件框架,实现了Google的MapReduce编程模型和框架,能够把应用程序分割成许多的 小的工作单元,并把这些单元放到任何集群节点上执行。在MapReduce中,一个准备提交执行的应用程序称为“作业(job)”,而从一个作业划分出 得、运行于各个计算节点的工作单元称为“任务(task)”。此外,Hadoop提供的分布式文件系统转载 2016-03-31 13:41:56 · 700 阅读 · 0 评论 -
MapReduce实现join操作
MapReduce实现join操作数据准备首先是准备好数据。这个倒已经是一个熟练的过程,所要做的是把示例数据准备好,记住路径和字段分隔符。准备好下面两张表:(1)m_ys_lab_jointest_a(以下简称表A)建表语句为:[sql] view plain copy print?转载 2016-03-18 13:59:51 · 392 阅读 · 0 评论 -
Hadoop 新 MapReduce 框架 Yarn 详解
Hadoop 新 MapReduce 框架 Yarn 详解 原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架(0.20.0 及之前版本)的同转载 2016-03-18 10:19:41 · 362 阅读 · 0 评论 -
hadoop学习WordCount+Block+Split+Shuffle+MapReduce详解
hadoop学习WordCount+Block+Split+Shuffle+MapReduce详解Shuffle过程是MapReduce的核心,集中了MR过程最关键的部分。要想了解MR,Shuffle是必须要理解的。了解Shuffle的过程,更有利于我们在对MapReduce job性能调优的工作有帮助,以及进一步加深我们队MR内部机理的了解。Shuffle到底是什么,自己在参考一转载 2016-03-17 17:18:16 · 915 阅读 · 0 评论 -
Hadoop学习笔记:MapReduce框架详解
Hadoop学习笔记:MapReduce框架详解开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技术解决了什么问题转载 2016-03-17 16:49:31 · 303 阅读 · 0 评论 -
Hadoop Rack Aware 机架感知
Hadoop Rack Aware 机架感知副本的存放是HDFS可靠性和性能的关键。优化的副本存放策略是HDFS区分于其他大部分分布式文件系统的重要特性。这种特性需要做大量的调优,并需要经验的积累。HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。目前实现的副本存放策略只是在这个方向上的第一步。实现这个策略的短期目标是验证它在生转载 2016-03-29 17:51:20 · 1176 阅读 · 0 评论 -
Spark1.0.0 运行架构基本概念
Spark1.0.0 运行架构基本概念1、Spark Application的运行架构有哪些组成?2、Spark on YARN 的运行过程是什么?前言Spark Application的运行架构由两部分组成:driver program(SparkContext)和executor。Spark Application一般都是在集群中运行,比如Spark S转载 2016-03-17 10:41:14 · 660 阅读 · 0 评论 -
Hadoop关于处理大量小文件的问题和解决方法
Hadoop关于处理大量小文件的问题和解决方法摘要:小文件指的是那些size比HDFS 的block size(默认64M)小的多的文件。如果在HDFS中存储小文件,那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。 而HDFS的问题在于无法很有效的处小文件指的是那些size比HDFS的block size(默认64M)小的多的文件。如果转载 2016-03-16 14:43:41 · 743 阅读 · 0 评论 -
【一】HDFS简介
【一】HDFS简介HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。----------------转载 2016-03-16 14:41:16 · 398 阅读 · 0 评论 -
chkconfig命令详解
chkconfig(check config)命令详解功能说明:chkconfig命令主要用来更新(启动或停止)和查询系统服务的运行级信息。谨记chkconfig不是立即自动禁止或激活一个服务,它只是简单的改变了符号连接。 语 法:chkconfig [--add][--del][--list][系统服务] 或 chkconfig [--level ][系统服务][转载 2016-03-31 17:31:59 · 2089 阅读 · 0 评论 -
CentOS 6.3下配置LVM(逻辑卷管理)
CentOS 6.3下配置LVM(逻辑卷管理)一、简介LVM是逻辑盘卷管理(Logical Volume Manager)的简称,它是Linux环境下对磁盘分区进行管理的一种机制,LVM是建立在硬盘和分区之上的一个逻辑层,来提高磁盘分区管理的灵活性。LVM的工作原理其实很简单,它就是通过将底层的物理硬盘抽象的封装起来,然后以逻辑卷的方式呈现给上层应用。在传统的磁盘管理机转载 2016-04-01 11:53:43 · 353 阅读 · 0 评论