- 博客(294)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 quota 详解---quota 是什么
什么是quotaquota的用途quota的一般作用对象quota的限制quota的使用重新挂devsdb1文件系统并添加usrquotagrpquota参数添加用户组和用户生成quota配置文件启动quota功能修改quota配置文件配置文件内容如下修改权限再写入一个大文件切换quota2用户修改警告时间查看quota1的quota信息查询quota2的quota信息
2017-04-08 00:57:20
19138
2
原创 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-04-08 00:38:19
442
原创 IDEA 附带参数运行main方法
IDEA中如何给main方法附带参数 public class Test{public static void main(String args[]) { try { if (args.length == 0) { throw new IllegalArgumentExcepti
2017-03-31 13:50:53
10978
转载 xargs用法
简介之所以能用到这个命令，关键是由于很多命令不支持|管道来传递参数，而日常工作中有有这个必要，所以就有了xargs命令，例如：这个命令是错误的find /sbin -perm +700 |ls -l这样才是正确的find /sbin -perm +700 |xargs ls -l xargs 可以读入 stdin 的资料，并且以空白字元或断行字元作为分辨，将 s
2017-03-24 11:13:41
452
转载 vim 多行删除与复制
VI中的多行删除与复制法一：单行删除，：1（待删除行）d多行删除 ，：1,10d法二：光标所在行，dd光标所在行以下的N行，Ndd方法1：光标放到第6行，输入：2yy光标放到第9行，输入：p此方法适合复制少量行文本的情况，复制第6行（包括）下面的2行数据，放到第9行下面。方法2：命令行模式下输入6,9 co 12复制第6行到第9行之间的内容到第12行后面。方法3：
2017-03-22 11:19:47
609
转载 远程通信-----RPC，Webservice，RMI，JMS的区别）
RPC（Remote Procedure Call Protocol）RPC使用C/S方式，采用http协议,发送请求到服务器，等待服务器返回结果。这个请求包括一个参数集和一个文本集，通常形成“classname.methodname”形式。优点是跨语言跨平台，C端、S端有更大的独立性，缺点是不支持对象，无法在编译器检查错误，只能在运行期检查。Web ServiceWeb
2017-02-28 16:55:31
373
转载 理解阻塞非阻塞与同步异步的区别
作者：严肃链接：https://www.zhihu.com/question/19732473/answer/20851256来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。“阻塞”与"非阻塞"与"同步"与“异步"不能简单的从字面理解，提供一个从分布式系统角度的回答。1.同步与异步同步和异步关注的是消息通信机制 (synchrono
2017-02-28 16:20:18
325
转载 linux ps top 命令 VSZ,RSS,TTY,STAT, VIRT,RES,SHR,DATA的含义
http://javawind.net/p131VIRT：virtual memory usage 虚拟内存1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等2、假如进程申请100m的内存，但实际只使用了10m，那么它会增长100m，而不是实际的使用量RES：resident memory usage 常驻内存1、进程当前使用的内存大小，但不包括swap
2017-02-24 14:44:32
5443
转载 hadoop-2.6.4集群编译搭建-阿里云和腾讯云
腾讯云阿里云 hadoop集群编译搭建fromhttp://blog.csdn.net/u014595668/article/details/52079753环境准备阿里云配置：[hadoop@lizer_ali ~]$ uname -a Linux lizer_ali 2.6.32-573.22.1.el6.x86_64 #1 SMP Wed Mar 23
2017-02-17 14:34:07
1637
转载 ViewFs----HDFS跨集群数据合并方案之ViewFileSystem
前言在很多时候,我们会碰到数据融合的需求,比如说原先有A集群,B集群,后来管理员认为有2套集群,数据访问不方便,于是设法将A,B集群融合为一个更大的集群,将他们的数据都放在同一套集群上.一种办法就是用Hadoop自带的DistCp工具,将数据进行跨集群的拷贝.当然这会带来很多的问题,如果数据量非常庞大的话.本文给大家介绍另外一种解决方案,ViewFileSystem,姑且可以叫做视图文
2017-02-16 17:54:10
5279
转载 hadoop safemode----hadoop安全模式
hadoop安全模式在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示
2017-02-16 15:26:59
1054
转载 MapReduce理解-深入理解MapReduce
前面的几篇博客主要介绍了Hadoop的存储HDFS，接下来几篇博客主要介绍Hadoop的计算框架MapReduce。本片博客主要讲解MapReduce框架的具体执行流程，以及shuffle过程，当然这方面的技术博客已经特别多而且都写得很优秀，我写本篇博客之前也有过相关阅读，受益匪浅。对一些博客和资料的参考都会才博客下方参考资料中列出。MapReduce理解MapRedeuce，
2017-02-15 16:39:41
9966
2
转载 mac终端配置设置
在尝试了很多配色，还是很麻烦的情况下，后来在我机智的东哥的指导下，找到了一个配色好看，简单实用，快捷方便的方法！github上面搜索 Oh My Zsh ，超级棒！地址：https://github.com/robbyrussell/oh-my-zsh使用方法特别的简单，我就简单说下就行了，感兴趣的，可以去github上面看他的README，写的很详细
2017-02-15 11:52:37
1268
转载 chrome快捷键--chrome 25个最常用的快捷键
The 25 Most Useful Keyboard Shortcuts For Google ChromeWhat if you could navigate Google Chrome at lightning speed?Well, by learning a few simple keyboard shortcuts, you can speed up y
2017-02-15 10:00:28
11938
原创 mac安装perl
终端输入curl -L http://xrl.us/installperlosx | bash参考：https://learn.perl.org/installing/osx.html
2017-02-14 12:13:29
13525
原创 mac安装screen
按照上一篇博客安装homebrew后，http://blog.csdn.net/yuxin6866/article/details/55096745接下来，在终端输入如下命令，按步骤即可完成安装#!/usr/local/bin/bash# add sourcebrew tap homebrew/dupes# GNU Coreutilsbrew install cor
2017-02-14 11:56:09
3943
原创 mac安装homebrew
打开终端输入/usr/bin/ruby -e"$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"官网：https://brew.sh/index_zh-cn.htmlInstall HomebrewFirst, visit Homebre
2017-02-14 11:52:56
1206
原创 Apache Beam发布--- apache beam概述
美国时间 2017年1 月 10 日，Apache 软件基金会对外宣布，万众期待的 Apache Beam 在经历了近一年的孵化之后终于毕业。这一顶级 Apache 开源项目终于成熟。这是大数据处理领域的又一大里程碑事件——仅仅在上个月，腾讯宣布将在 2017 年一季度开源其大数据计算平台 Angel 。现在看来，生不逢时的 Angel 可能迎来了它最大的对手。至此，谷歌终于也完成了对其云
2017-01-12 10:36:50
3976
2
转载 大数据框架对比：Hadoop、Storm、Samza、Spark和Flink
简介大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。在之前的文章中，我们曾经介绍过有关大数据系统的常规概念、处理过程，以及各种专门术语，本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理
2017-01-12 10:31:54
528
转载 一致性HASH算法
基本场景比如你有 N 个 cache 服务器（后面简称 cache ），那么如何将一个对象 object 映射到 N 个 cache 上呢，你很可能会采用类似下面的通用方法计算 object 的 hash 值，然后均匀的映射到到 N 个 cache ；求余算法: hash(object)%N一切都运行正常，再考虑如下的两种情况；1 一个 cache 服务器 m
2017-01-12 10:30:02
384
转载 机器学习概述----机器学习并没有那么深奥，它很有趣(2)
机器学习并没有那么深奥，它很有趣（2）编者按：在科技圈，如果你不懂“机器学习”，那你就 out 了。当别人在谈论机器学习娓娓道来时，你却一头雾水，怎么办？在跟同事的聊天中，你只能频频点头却插不上话，怎么办？让我们来做些改变！Adam Geitgey 撰写了一份简单易懂的《机器学习，乐趣无限》的资料，共分为5个部分，主要针对所有对“机器学习”感兴趣，却苦于不知从何下手的朋友，希望
2017-01-12 10:23:55
809
转载 机器学习概述----机器学习并没有那么深奥，它很有趣(1)
机器学习并没有那么深奥，它还很有趣（1）编者按：在科技圈，如果你不懂“机器学习”，那你就 out 了。当别人在谈论机器学习娓娓道来时，你却一头雾水，怎么办？在跟同事的聊天中，你只能频频点头却插不上话，怎么办？让我们来做些改变！Adam Geitgey 撰写了一份简单易懂的《机器学习，乐趣无限》的资料，共分为5个部分，主要针对所有对“机器学习”感兴趣，却苦于不知从何下手的
2017-01-12 10:18:38
927
转载 机器学习概述----机器学习并没有那么深奥，它很有趣(3)
编者按：在科技圈，如果你不懂“机器学习”，那你就 out 了。当别人在谈论机器学习娓娓道来时，你却一头雾水，怎么办？在跟同事的聊天中，你只能频频点头却插不上话，怎么办？让我们来做些改变！Adam Geitgey撰写了一份简单易懂的《机器学习，乐趣无限》的资料，共分为5个部分，主要针对所有对“机器学习”感兴趣，却苦于不知从何下手的朋友，希望能借此让更多人认识了解“机器学习”，激发其对“机器学习”的兴
2017-01-12 10:13:53
1196
转载 国外电子书免费下载网站
1.FreeBookSpotFreeBookSpot是一个免费英文电子书大全网站，它提供有4485本免费电子书，分为96个分类，高达71.97GB。你可以通过分类搜索这些免费电子书，比如科学，工业，编辑，小说或其它电子书。并且没有注册要求，就可以免费下载电子书。地址：http://www.freebookspot.es2.4eBooks4eBooks是一个专业提供免
2016-12-20 14:31:45
2810
转载 安装Sublime Text 3插件的方法
安装Sublime Text 3插件的方法：更新一个，推荐sublime的一些其他插件个常用主题：http://www.cnsecer.com/search/sublime+text3，配置成功后换个主题和字体，用起来更爽更装逼哦直接安装安装Sublime text 3插件很方便，可以直接下载安装包解压缩到Packages目录（菜单->preferences
2016-12-14 17:05:05
422
转载 流式处理、实时计算、Add-hoc、离线计算、实时查询等区别
流式处理、实时计算、Add-hoc、离线计算、实时查询 这几个概念在数据处理中经常提高，这里简单的梳理一下他们的区别。流处理、实时计算属于一类的，即计算在数据变化时，都是在数据的计算实时性要求比较高的场景，能够实时的响应结果，一般在秒级，Yahoo的S4,twiter的storm都属于流处理和实时计算一类的。Add-hoc和实时查询都计算在query时，实时查询是响应可能千变万化的
2016-11-17 16:15:28
5109
转载 实时计算和流式计算的区别
实时计算，强调的是实时。比如小明要查看他去年一年的消费总额度，那么当小明点下统计按钮的时候，服务器集群就在噼里啪啦的赶紧计算了，必须在小明能够忍耐的时间范围内得出结果。这种计算的背后实现，一般都是冗余 + 各种高性能部件在做支撑，算法也对实时性做了优化，但实时计算并没有强调用那种算法，只要能保证高实时性的就行。实时计算与离线计算的最大区别，就是离线计算是人无法忍耐的时间进行计算，因此人不需要等待，
2016-11-17 16:14:54
15770
转载 hadoop、storm和spark的区别、比较
一、hadoop、Storm该选哪一个？为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过
2016-11-16 23:29:51
586
转载 storm详细介绍
storm简介场景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨
2016-11-16 23:25:14
627
转载 转载计算机学院去微软的大牛的面试经验~
好厉害，向他学习，以下是大牛的原文：LZ是今年四月份毕业的计算机硕士，去年可能是LZ这短暂人生中经历过的最忙碌最辛苦的一年。这一年里收获了很多，也有很多感悟。一直也希望把这些经历感悟记录下来，分享给有需要的学弟学妹们。我想假如我之前能得到更多前辈经验的分享，也许我能避免一些弯路。下面我对我的求职经历简要回忆一下，各个公司的求职时间可能有交叉。WAP这是一家日本公司做ERP的，全称应
2016-11-13 11:04:20
4944
3
转载 毕业五年总结（转载的别人帖子，挺励志）
以下都是转载：每年都是国庆浪完后才能静下心来写写总结收收心，感觉知行都没啥人看了，但还是写一下资深学渣五年总结，记录一下，应该也是我知行上最后一个总结帖了吧，以后总结就写evernote自己看着玩了归档 ----------------------------------------------------------分隔符---------------------
2016-11-13 10:59:49
5522
原创 我的找工作经历总结
本人211小硕，找工作过程酸甜苦辣都有了。特发此文纪念一下 。 2016.11.10先说下本人的情况吧。本硕都是通信，并不是科班出身。不过没关系，我觉得好好努力的话还是有机会的。关于bat本人在百度实习过一段时间，研发测试，可校招百度二面跪了。阿里，本来想开始内推，以为不会影响到后续的校招，后来发现完全不是那么回事。因为内推要是挂了，基本后面也就没什么机会了，想去阿里的人真是多的
2016-11-11 00:46:31
2870
转载 Linux软连接和硬链接详解
下面的结论最重要。1.Linux链接概念Linux链接分两种，一种被称为硬链接（Hard Link），另一种被称为符号链接（Symbolic Link）。默认情况下，ln命令产生硬链接。【硬连接】硬连接指通过索引节点来进行连接。在Linux的文件系统中，保存在磁盘分区中的文件不管是什么类型都给它分配一个编号，称为索引节点号(Inode Index)。在Linux中，多个文件名指
2016-11-10 09:17:28
786
转载 基数排序详解
简介基数排序（radix sort）属于“分配式排序”（distribution sort），又称“桶子法”（bucket sort）或bin sort原理将所有待比较数值（正整数）统一为同样的数位长度，数位较短的数前面补零。然后，从最低位开始，依次进行一次排序。这样从最低位排序一直到最高位排序完成以后, 数列就变成一个有序序列。步骤第一步以LSD为例，
2016-11-10 00:21:25
514
转载 Java 01背包问题
Java实现01背包问题动态规划基本思想：把一个问题分解为子问题递归求解，且将中间结果保存以避免重复计算。通常用来求最优解，且最优解的局部也是最优的。求解过程产生多个决策序列，下一步总是依赖上一步的结果，自底向上的求解。动态规划算法可分解成从先到后的4个步骤：1. 描述一个最优解的结构，寻找子问题，对问题进行划分。2. 定义状态。往往将和子问题相关的
2016-11-10 00:07:26
1064
原创 java中父类和子类初始化顺序
顺序1. 父类中静态成员变量和静态代码块2. 子类中静态成员变量和静态代码块3. 父类中普通成员变量和代码块，父类的构造函数4. 子类中普通成员变量和代码块，子类的构造函数其中“和”字两端的按照代码先后顺序执行。举例先看代码：Father类public class Father { public String fStr1 = "f
2016-11-09 23:39:56
10304
5
转载 MySQL中竖表和横表之间的相互转换
MySQL中竖表和横表之间的相互转换1. 横表转为竖表表tb的结构为表中的数据为现在要求查询到如下结果使用的SQL查询语句应该如下：或者使用下面查询2. 竖表转为横表tb2表的结构如下 tb2的数据如下
2016-11-09 23:15:53
2224
转载 SQL左右连接中的on and和on where的区别
原先一直对SQL左右连接中的on and和on where的区别不是太了解，直到在网上看到了下面这段话才豁然开朗。 在使用left join时，on and和on where条件的区别如下： 1、on条件是在生成临时表时使用的条件，它不管on中的条件是否为真，都会返回左边表中的记录。 2、where条件是在临时表生成好后，再对临时表进行过滤的条件。这时已经没有le
2016-11-09 22:40:35
521
转载 【Hadoop】HDFS的运行原理
简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。
2016-11-04 23:59:39
387
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人