自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(16)
  • 资源 (3)
  • 收藏
  • 关注

转载 提高性能的数据库纵向分割和横向分割

1、纵向分割(列分割)现象:通常,随着开发过程的推进,系统中主表的字段数会越来越多。但是一个表的字段个数,是受数据库规范和性能限制的。例如,SQL Server数据库中一个表最多可以包含1024个字段,而实际应用中一般不能超过246个字段,每行数据可以存储8060字节,另外,对于大数据表来说,列的数量直接影响存取速度。数据的存储结构对行的存取更加优化,而不是列的存取。下面,提出几种分割存储列的情形...

2018-03-30 11:09:13 399

原创 Hive自定义函数

由Hive自定义函数引出Hive的架构和底层原理

2018-03-28 21:08:59 623

转载 记录一次壮烈牺牲的阿里巴巴面试

今天本是一个阳光明媚,鸟语花香的日子。于是我决定在逛街中感受春日的阳光~结果晚上七点的时候,蚂蚁金服后端大佬来了电话,要进行一轮的技术面试。我一脸黑人问号???现在的面试都流行突袭吗?于是我的第一次面试之旅,就此壮烈的展开。自我介绍首先呢,大佬让我用两分钟自我介绍。我本以为自己能滔滔不绝,将对方视作相亲对象般全方位介绍自己。结果不到半分钟,我就介绍完了==。五秒钟的沉默后,大佬嗯了一声。感觉自己的...

2018-03-28 12:00:32 361 2

转载 ip、uv和pv的定义

ip、uv和pv的定义IP(独立IP): 即Internet Protocol,指独立IP数。00:00-24:00内相同IP地址之被计算一次。PV(访问量): 即Page View, 即页面浏览量或点击量,用户每次刷新即被计算一次。UV(独立访客):即Unique Visitor,访问您网站的一台电脑客户端为一个访客。00:00-24:00内相同的客户端只被计算一次。ip,pv,uv的区别 ...

2018-03-28 10:12:00 272

转载 linux的命令操作

linux的命令操作1、日常操作命令  **查看当前所在的工作目录pwd**查看当前系统的时间 date**查看有谁在线(哪些人登陆到了服务器)who  查看当前在线last 查看最近的登陆历史记录2、文件系统操作**ls /    查看根目录下的子节点(文件夹和文件)信息ls -al  -a是显示隐藏文件   -l是以更详细的列表形式显示**切换目录cd  /home**创建文件夹mkdir a...

2018-03-27 01:44:38 127

原创 hdfs写数据流程示意图

每个block上传的过程,写完一个上传下一个?

2018-03-27 01:17:46 573

原创 NAT Bridged Host-only三种网络配置方式的区别

VMware虚拟机三种联网方法及原理 一、Brigde——桥接:默认使用VMnet0  1、原理:  Bridge  桥"就是一个主机,这个机器拥有两块网卡,分别处于两个局域网中,同时在"桥"上,运行着程序,让局域网A中的所有数据包原封不动的流入B,反之亦然。这样,局域网A和B就无缝的在链路层连接起来了,在桥接时,VMWare网卡和物理网卡应该处于同一IP网段  当然要保证两个局域网没有冲突的IP...

2018-03-27 00:50:20 1246

原创 SecureCRT显示乱码的解决办法

我发现在连接Linux系统之后,因为我装的是中文版的Linux系统,所以在显示中文的时候,SecureCRT显示出乱码。原因在于我们的Linux系统字符编码默认是UTF-8这种格式的!要将SecureCRT也设置成UTF-8才能进行正常显示。选择字符编码为UTF-8。点击Options --> 选择Session Options --> 点击Appearance。将字符编码设置为UTF...

2018-03-27 00:44:27 634

原创 DNS 域名服务的工作流程

DNS 是域名系统 (Domain Name System) 的缩写,它是由解析器和域名服务器组成的。域名服务器是指保存有该网络中所有主机的域名和对应IP地址,并具有将域名转换为IP地址功能的服务器。...

2018-03-26 20:22:15 1016

原创 Hive基础

desc t2;本地数据load data local inpath '/root/data/sutdent01.txt' HDFS中的文件load data inpath Hive中的大部分查询会转换成mapreduce作业进行select *  from table 不会,因为是全表查询 select 字段 会执行distinct 合并相同的简单查询的Fetch Task,执行简单查询语句(没...

2018-03-26 17:59:23 99

转载 Secondary NameNode:它究竟有什么作用?

前言最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为,Secondary NameNode是NameNode的备份,是为了防止NameNode的单点失败的,直到读了这篇文章Secondary Namenode - What it really do? (需翻墙)才发现并不是这样。文章写的很通俗易懂,现将其翻译如下:Second...

2018-03-22 17:17:09 626

转载 Oozie 快速入门

设想一下,当你的系统引入了spark或者hadoop以后,基于Spark和Hadoop已经做了一些任务,比如一连串的Map Reduce任务,但是他们之间彼此右前后依赖的顺序,因此你必须要等一个任务执行成功后,再手动执行第二个任务。是不是很烦! 这个时候Oozie(驯象人,典故来自评论一楼)就派上用场了,它可以把多个任务组成一个工作流,自动完成任务的调用。简介Oozie是一个基于工作流引擎的服务器...

2018-03-21 17:23:31 183

转载 RPC服务和HTTP服务对比

很长时间以来都没有怎么好好搞清楚RPC(即Remote Procedure Call,远程过程调用)和HTTP调用的区别,不都是写一个服务然后在客户端调用么?这里请允许我迷之一笑~Naive!本文简单地介绍一下两种形式的C/S架构,先说一下他们最本质的区别,就是RPC主要是基于TCP/IP协议的,而HTTP服务主要是基于HTTP协议的,我们都知道HTTP协议是在传输层协议TCP之上的,所以效率来看...

2018-03-21 15:23:20 118

转载 Java FAQ -- "Exception in thread 'main' java.lang.UnsupportedClassVersionError:"

最近重新学习Java,写了一段很小的程序,如下:public class Hello{ public static void main(String args[]){ System.out.println("hello"); }}  当javac Hello.java, java Hello后发现出现了下面的提示错误:Exception in thread "ma...

2018-03-13 15:43:59 256

转载 linux下的 tar.gz文件和.rpm文件有什么最大的区别?

Linux软件的二进制分发 是指事先已经编译好 二进制形式 的软件包的发布形式。其优点是安装使用容易,缺点则是缺乏灵活性,如果该软件包是为特定的硬件/操作系统平台编译的,那它就不能在另外的平台或环境下正确执行。 1、*.rpm形式的   二进制软件包 安装:rpm  -ivh  *.rpm 卸载:rpm  -e   packgename 说明:RPM(RedHat Packge Manager)是...

2018-03-13 15:23:05 455

转载 如何判断Linux是32位还是64位

方法一:getconf LONG_BIT在linux终端输入 getconf LONG_BIT 命令如果是32位机器,则结果为32[cpp] view plain copy[root@localhost ~]# getconf LONG_BIT32如果是64位机器,则结果为64[cpp] view plain copy[root@localhost ~]# getconf LONG_BIT64方法...

2018-03-13 11:43:07 599

anomaly_detection_robust_regression.ipynb

流量异常检测代码

2019-08-05

FlinkProj-master.zip

flink项目代码

2019-08-05

Hadoop中文版资料.7z

国外翻译的Hadoop中文版资料,Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。

2019-06-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除