- 博客(37)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Git 命令大全，解说
[size=large][b]1. Git概念[/b][/size] [b]1.1. Git库中由三部分组成[/b] Git 仓库就是那个.git 目录，其中存放的是我们所提交的文档索引内容，Git 可基于文档索引内容对其所管理的文档进行内容追踪，从而实现文档的版本控制。.git目录位于工作目录内。 [color=green]1）[/color] 工作目录：用户本地的目录...
2014-10-07 11:10:36
185
原创 JAVA多线程与并发
[b]1. 计算机系统[/b]使用高速缓存来作为内存与处理器之间的缓冲，将运算需要用到的数据复制到缓存中，让计算能快速进行；当运算结束后再从缓存同步回内存之中，这样处理器就无需等待缓慢的内存读写了。缓存一致性：多处理器系统中，因为共享同一主内存，当多个处理器的运算任务都设计到同一块内存区域时，将可能导致各自的缓存数据不一致的情况，则同步回主内存时需要遵循一些协议。乱序...
2014-09-24 09:51:43
115
原创 hadoop2.x安装
[b][size=x-large][align=center]hadoop2.x安装[/align][/size][/b][b]1.[color=green]搭建虚拟机（使用桥接网络，以便设置ssh连接，注意版本）[/color]2.[color=green]安装jdk[/color]3.[color=green]编辑hosts的文件[/color]4.[color=green]关...
2014-09-08 23:37:14
102
原创 解决Mysql直接登录问题（删除匿名用户）
[b]刚安装的Mysql会存在匿名用户。[/b] 在命令行下输入mysql，（如果这时提示不是外部或内部指令，那就把mysql server文件下的bin目录添加到系统路径Path中）[color=green][i]如果没有任何提示，直接进入"mysql>"的环境，说明存在匿名用户，需要删除，以免留下隐患。[/i][/color][b]删除方式为：[/b]...
2014-09-01 22:27:04
325
原创 Redis学习
[size=xx-large][u][b][align=center]redis学习资料[/align][/b][/u][/size][b][color=green][size=x-large][url]http://www.iteye.com/topic/1119434[/url][/size][/color][/b]
2014-08-31 21:29:50
78
原创 Tomcat工作原理详解
[b]Tomcat工作原理详解[/b][color=green][size=x-large][b][url]http://blog.csdn.net/res_cue/article/details/21756357[/url][/b][/size][/color]
2014-08-27 15:33:47
199
原创 Java开发中的23种设计模式详解
[size=large][color=green][b]详细请点击：[/b][/color][/size][size=x-large][color=green][b][url]http://zz563143188.iteye.com/blog/1847029[/url][/b][/color][/size]
2014-08-27 13:17:11
93
原创 MySql数据类型
[b][size=large][align=center]MySql数据类型[/align][/size][/b][b]1.整型（xxxint）[/b][table]|MySQL数据类型|含义||tinyint(m)|1个字节表示(-128~127)||smallint(m)|个字节表示(-32768~32767)||mediumint(m)|3个字节表示(-8388608...
2014-08-27 13:08:50
98
原创 MySQL Cluster初步学习资料整理
[size=large][color=green][align=center]MySQL-Cluster架构图文详解[/align][/color][/size][size=x-large][url]http://www.uml.org.cn/test/201311262.asp[/url][/size]
2014-08-27 10:49:49
120
原创 域名解析（访问）网站的过程
从我们输入域名后，到成功访问网站，这个期间，究竟经过了一个怎样的过程呢？带着这个问题，自然醒就把整个经过向你一一叙说。首先强调的是：我们以后要面临着HTML语言以及学习建立网页等等诸多有关计算机知识，在此我们有必要先了解一下网络(Web)基本的运作方式。也就是从我们在浏览器中输入域名（网址）到浏览器显示出页面，这个过程中到底发生了什么事？见下面图示：[img]http://w...
2014-08-23 15:26:31
1046
原创 hosts文件作用和位置
[size=large][align=center][b]hosts文件作用和位置[/b][/align][/size] hosts文件相信大家都不陌生，有很多时候我们需要修改一下hosts文件，但大家可能对hosts文件可能不太了解，下面对hosts文件的作用做出一个详细的解释。在windows系统中，HOST文件位于系统盘C:\Windows\System32\drivers...
2014-08-23 12:06:47
244
原创 什么是http代理
[b]HTTP代理：[/b] www对于每一个上网的人都再熟悉不过了，www连接请求就是采用的http协议，所以我们在浏览网页，下载数据（也可采用ftp协议）是就是用http代理。它通常绑定在代理服务器的80、3128、8080等端口上。 http代理，指的就是将采用http访问的数据（http数据流），用第三者中转（比如网站-代理-你的电脑）的行为；或者是具有...
2014-08-23 12:02:14
558
原创 hive的优化2
[color=darkblue][b][size=x-large][align=center]Hive的优化[/align][/size][/b][/color] Hive针对不同的查询进行优化，其优化过程可以通过配置进行控制。 [b]1.列裁剪（Column Pruning）[/b] 在读取数据时，只读取查询中需要用到的列，而忽略其他的列，例如如下查...
2014-07-07 14:42:00
101
原创 MapReduce任务的优化
[b][size=x-large][align=center]MapReduce任务的优化[/align][/size][/b] MapReduce计算模型的优化涉及了方方面面的内容，但是主要集中在两个方面：一是计算性能方面的优化；二是，I/O操作方面的优化。这其中，又包括六个方面的内容。[b]1.任务调度[/b] 任务调度是hadoop中非常重要的...
2014-07-07 13:02:26
141
原创 linux，shell学习（七）
[size=large][align=center][b]脚本参数传递[/b][/align][/size] [b]1.shift命令 2.getopts[/b] [color=green][b]1.shift[/b][/color] shift：每次将参数位置向左偏移N位[code="shell"]#!/bin/bash#optusage(...
2014-06-15 11:49:06
112
原创 linux，shell学习（六）
[size=large][b][align=center]shell函数[/align][/b][/size][b] 1.定义函数 4.函数文件 2.函数调用 5.载入和删除函数 3.参数传递 6.函数返回状态[/b][color=green]1.定义函数[/color] 语法：[ function ] fu...
2014-06-15 11:15:00
90
原创 linux，shell学习（五）
[b][align=center]文本过滤[/align][/b][b]1.正则表达式介绍 4.awk介绍2.find介绍 5.sed介绍3.grep介绍 6.合并与分割(sort,uniq,join,cut,paste,split)[/b] [b]1.正则表达式：[/b] 1.1 什么是正则表达式 ...
2014-06-12 22:15:15
90
原创 正则表达式基础知识
一、正则表达式基础知识1.1 句点符号 假设你在玩英文拼字游戏，想要找出三个字母的单词，而且这些单词必须以“t”字母开头，以“n”字母结束。另外，假设有一本英文字典，你可以用正则表达式搜索它的全部内容。要构造出这个正则表达式，你可以使用一个通配符——句点符号“.”。这样，完整的表达式就是“t.n”，它匹配“tan”、“ten”、“tin”和“ton...
2014-06-08 02:33:12
113
原创 linux，shell学习（四）
[b][align=center]控制流结构[/align][/b][b]1.控制结构 6.while循环2.if then else语句 7.until循环3.case 语句 8.break控制5.for循环 9.continue控制[/b][b]if then else[/b] if 条件1 如果条件1为真 th...
2014-05-27 22:10:22
114
原创 hive的优化1
[b]一、join优化[/b] Join查找操作的基本原则：应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。 Join查找操作中如果存在多个join，且所有参与join的表中其参与join的key都相同，则会将所有的...
2014-05-26 11:31:04
177
原创 hive文件压缩存储格式
[b][align=center]hive文件存储格式包括以下几类：[/align][/b][b]1.TEXTFILE2.SEQUENCEFILE3.RCFILE4.自定义格式[/b] 其中TEXTFILE为默认格式，建表时不指定,默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。 SequenceFile,RCFile格式的表不能直接从本地...
2014-05-26 11:19:53
117
原创 linux，shell学习（三）
[align=center][b]shell的输入与输出[/b][/align][table]|1.echo|7.文件重定向||2.read|8.标准输入，输出与错误||3.cat|9.文件重定向||4.管道|10.合并标准输出和标准错误|5.tee|11.使用文件描述符||6.exec|[/table][b]1.echo[/b] echo命令的功能是...
2014-05-25 22:53:34
108
原创 linux，shell学习（二）
[align=center][b]变量和运算符[/b][/align] [b]1.什么是shell变量[/b] [b]2.本地变量[/b] variable_name=value set查看本地变量 readonly variable_name 变量值不能被改变 readonly查看只读的变量 ...
2014-05-24 22:43:46
130
原创 linux，shell学习（一）
[b]1.1 什么是shell[/b]shell是核心程序（kernel）之外的指令解析器，是一个程序同时一中命令语言和程序设计语言。shell的类型：ash,bash,sh,ksh,csh,tcsh -/etc/shells -echo $SHELL[b]程序在shell中运行[/b][b]shell中可以运行子shell[/b] #!/bin/ba...
2014-05-24 17:26:06
110
原创 linux 下使用gzip压缩与解压文件
[b]linux 下使用gzip压缩与解压文件[/b] gzip 和 gunzip[b]要使用 gzip 来压缩文件，在 shell 提示下键入以下命令：[/b] gzip filename 文件即会被压缩，并被保存为 filename.gz。[b]要扩展压缩的文件，键入以下命令：[/b] gunzip filename.gz filename.gz 会被删除...
2014-05-20 22:02:34
251
原创 hive 函数
[b]字符串函数[/b][b]字符串长度函数：length[/b]语法: length(string A)返回值: int说明：返回字符串A的长度举例：hive> select length(‘abcedfg’) from dual;7[b]字符串反转函数：reverse[/b]语法: reverse(string A)返回值: string说明：返回字...
2014-05-20 16:47:09
112
原创 Java线程池
[b]线程池的作用：[/b] 线程池作用就是限制系统中执行线程的数量。 根据系统的环境情况，可以自动或手动设置线程数量，达到运行的最佳效果；少了浪费了系统资源，多了造成系统拥挤效率不高。用线程池控制线程数量，其他线程排队等候。一个任务执行完毕，再从队列的中取最前面的任务开始执行。若队列中没有等待进程，线程池的这一资源处于等待。当一个新任务需要运行时，如果线程池中有等待的工作...
2014-05-12 16:59:15
66
原创 sqoop安装
[b]1.安装：[/b] 1.1:下载： http://mirrors.cnnic.cn/apache/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz 1.2:解压：tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz 1.3:重命名：mv sqoop-1.4.4.b...
2014-05-11 21:21:14
69
原创 shell语句执行hive查询
[size=large][b]执行hive查询实例[/b][/size][b]执行select查询[/b] [code="shell"]$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'[/code][b]加入配置变量的查询[/b] [code="shell"]$HIVE_HOME/bin/hive -e 'selec...
2014-05-09 15:41:46
781
原创 Shell编程基础
我们可以使用任意一种文字编辑器，比如gedit、kedit、emacs、vi等来编写shell脚本，它必须以如下行开始（必须放在文件的第一行）：#!/bin/bash...注意：最好使用“!/bin/bash”而不是“!/bin/sh”，如果使用tc shell改为tcsh，其他类似。符号#!用来告诉系统执行该脚本的程序，本例使用/bin/bash。编辑结束并保存后，如...
2014-05-09 15:37:41
123
原创 HDFS的基本概念
[b]1、数据块(block)[/b]HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。[b]2、元数据节点(Namenode)和数据...
2014-05-09 11:35:31
119
原创 hadoop作业调优参数整理及原理(转)
[b]1 Map side tuning参数[/b][size=xx-small]1.1 MapTask运行内部原理[/size][img]http://images.cnitblog.com/blog/360373/201310/05162523-0fc63548193149f6bef91d2e5f90889d.jpg[/img] 当map task开始运算，并产生中间...
2014-05-09 11:05:39
80
原创 Hive左连接
CREATE EXTERNAL TABLE IF NOT EXISTS a(telno STRING,other STRING)PARTITIONED BY(day String)ROW FORMAT DELIMITED FIELDS TERMINATED BY '|';CREATE EXTERNAL TABLE IF NOT EXISTS b(telno STRI...
2014-05-05 10:32:54
1837
原创 shell脚本定时器
cron是一个linux下的定时执行工具，可以在无需人工干预的情况下运行作业。由于Cron 是Linux的内置服务，但它不自动起来，可以用以下的方法启动、关闭这个服务：[code="shell"]/sbin/service crond start //启动服务/sbin/service crond stop //关闭服务/sbin/service crond restart //重启服...
2014-05-04 17:24:02
2112
原创 linux 下 ifcfg-eth0 配置
网络接口配置文件[root@localhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0# Intel Corporation 82545EM Gigabit Ethernet Controller (Copper)TYPE=Ethernet #网卡类型DEVICE=eth0 #网卡接口名称O...
2014-04-23 16:42:18
209
原创 Linux vi替换字符串
1. 基本的替换 :s/vivian/sky/ 替换当前行第一个 vivian 为 sky :s/vivian/sky/g 替换当前行所有 vivian 为 sky :n,$s/vivian/sky/ 替换第 n 行开始到最后一行中每一行的第一个 vivian 为 sky :n,$s/vivian/sky/g 替换第 n 行开始到最后一行中每一行所有 vivian ...
2014-04-21 11:48:33
70
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人