自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 收藏
  • 关注

原创 Hadoop HA架构原理

在大数据各组件中,大部分的都是主从架构,当主节点挂了后(主节点只有一个),整个大数据生产线无法完整的跑下去,而其中最重要的就是存储节点HDFS中SecondaryNameNode(SNN)缺点:每小时做一次checkpoint的操作,如果NameNode(NN)挂了,SNN只能恢复上一次的checkpoint的状态,而不能实时切换到NN挂的状态,这就是SNN的瓶颈。HA目的:做两个主节点,一个...

2019-08-22 00:50:48 237

原创 Hive常用

创建表:创建内部表create table dept ( deptno int, dname string, loc int) row format delimated fields terminated by ',' ; --分隔符按照自己文件数据来设置create table dept2 like dept; --拷贝表结构,不拷贝数据create ...

2019-08-04 17:04:49 146

原创 Hive-1.1.0-cdh5.15.1安装

Hive官网:hive.apache.orgHive的诞生:解决用MR来开发业务逻辑太过繁琐的问题Hive的特点:用于解决海量的结构化日志的统计问题,刚开始是作为Hadoop的一个子项目,后面才单独成为一个项目Hive是构建在Hadoop之上的数据仓库,适合离线处理Hive是一个客户端,非集群,执行时将SQL提交到Hadoop集群上执行Hive是一个类SQL的框架,提供HQL语句H...

2019-08-02 01:02:01 1401 1

原创 MySQL练习题

—dept部门表deptno部门编号dname部门名称loc地点create table dept ( deptno numeric(2), dname varchar(14), loc varchar(13));insert into dept values (10, 'ACCOUNTING', 'NEW YORK');insert into dept ...

2019-08-01 22:44:54 1109

原创 记录一次hadoop进程起不来

在测试机中换了一个版本的hadoop,发现进程都起不来,查了一下log,发现是端口被占用java.net.BindException: Port in use: 0.0.0.0:50070 at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:963) at org.apache.hadoop.http.Ht...

2019-07-25 23:12:15 166

原创 HDFS读写流程

HDFS读数据流程客户端调用FileSystem 实例的open 方法,获得这个文件对应的输入流InputStream。通过RPC 远程调用NameNode ,获得NameNode 中此文件对应的数据块保存位置,包括这个文件的副本的保存位置( 主要是各DataNode的地址) 。获得输入流之后,客户端调用read 方法读取数据。选择最近的DataNode 建立连接并读取数据。如果客户端...

2019-07-23 23:29:49 82

原创 Hadoop基础

人们常说的Hadoop狭义上说的是Hadoop架构,广义上是指以Hadoop为核心的生态圈官网:hadoop.apache.org版本:apache版,Apache公司开源,需要编译cdh版,cloudera公司开源,兼容性会好一点hadoop架构主要由三个节点组成:HDFS:分布式文件存储YARN:分布式资源分配MapReduce:分布式计算模式Local (Stand...

2019-07-23 23:14:47 105

原创 MySQL常用

数据语言DDL:数据定义语言,如create,drop,alterDML:数据操作语言,如insert,update,delete,selectDCL:数据控制语言,如grant常用的数据类型int:整数(位长11,可以保存11位以下的整数)- long:长整数float:单精度小数(小数为1,七个有效位)double:双精度小数(小数为2,十五个有效位)decimal:数字...

2019-07-16 23:22:29 73

原创 Hadoop-2.6.0-cdh5.7.0安装

下载hadoop包http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/安装前需要提前安装好JDK创建专门的维护用户 hadoop,并赋权限[root@hadoop001 ~]# useradd hadoop[root@hadoop001 ~]# chown -R hadoop:hadoop /opt/softwar...

2019-07-10 00:37:27 645 1

原创 MySQL5.6安装部署

下载MySQL的jar包上传到Linux服务器:rz命令上传mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz

2019-07-03 21:23:00 443

原创 Linux常用命令(三)

进程和端口号查看当前所有正在运行的进程ps -ef2.查看所有正在运行的tail进程ps -ef | grep tailroot 16923 16885 0 19:12 pts/1 00:00:00 tail -F shell.logroot 16929 15916 0 19:12 pts/0 00:00:00 grep --color=auto t...

2019-07-02 23:35:22 99

原创 Linux常用命令(二)

别名:一些常用命令并且比较长的话我们可以用别名代替[hadoop001@JD ~]$ aliasalias egrep='egrep --color=auto'alias fgrep='fgrep --color=auto'alias grep='grep --color=auto'alias l.='ls -d .* --color=auto'alias ll='ls -l --co...

2019-07-01 23:49:38 58

原创 Linux常用命令(一)

用户系统用户:root,目录是在/root普通用户:自己创建的用户,目录是在/home/xxx绝对路径:从根目录开始一级一级往下。 如:/home/hadoop001/相对路径:是指从当前所在路径进入上一级或下一级查看pwd:显示当前所在路径ls:查看当前路径下所有的文件的名称或文件夹的名称(不包括隐藏文件)ls -a:查看当前路径下所有文件名称或文件夹的名称(包括隐藏文件)l...

2019-06-18 23:01:56 118

原创 Linux安装

首先下载VMware https://www.vmware.com/cn.html我这里用的是VNware14,系统是centos6.5下载后一直下一步安装即可打开后点击"文件" -->“新建虚拟机”磁盘大小看自己需要设置内存大小和镜像文件,内存建议最小2G设置完开机下面没有鼠标,用键盘的上下左右,过几步就有了,但是只能在VMware中,按住ctrl+alt切换到...

2019-06-16 17:20:45 67

转载 CDH集群调优:内存、Vcores和DRF

吐槽最近“闲”来无事,通过CM把vcores使用情况调出来看了一眼,发现不论集群中有多少个任务在跑,已分配的VCores始终不会超过120。而集群的可用Vcores是360(15台机器×24虚拟核)。这就相当于CPU资源只用到了1/3,作为一个半强迫症患者绝对不能容忍这样的事情发生。 分析的过程不表,其实很简单就是几个参数的问题。本以为CM能智能的将这些东西配好,现在看来好像不行。以下记录结...

2019-02-15 16:31:10 298

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除