- 博客(15)
- 收藏
- 关注
RSS订阅原创 Hadoop HA架构原理
在大数据各组件中,大部分的都是主从架构,当主节点挂了后(主节点只有一个),整个大数据生产线无法完整的跑下去,而其中最重要的就是存储节点HDFS中SecondaryNameNode（SNN）缺点：每小时做一次checkpoint的操作，如果NameNode(NN)挂了，SNN只能恢复上一次的checkpoint的状态，而不能实时切换到NN挂的状态，这就是SNN的瓶颈。HA目的：做两个主节点,一个...
2019-08-22 00:50:48
237
原创 Hive常用
创建表:创建内部表create table dept ( deptno int, dname string, loc int) row format delimated fields terminated by ',' ; --分隔符按照自己文件数据来设置create table dept2 like dept; --拷贝表结构,不拷贝数据create ...
2019-08-04 17:04:49
146
原创 Hive-1.1.0-cdh5.15.1安装
Hive官网:hive.apache.orgHive的诞生:解决用MR来开发业务逻辑太过繁琐的问题Hive的特点:用于解决海量的结构化日志的统计问题,刚开始是作为Hadoop的一个子项目,后面才单独成为一个项目Hive是构建在Hadoop之上的数据仓库,适合离线处理Hive是一个客户端,非集群,执行时将SQL提交到Hadoop集群上执行Hive是一个类SQL的框架,提供HQL语句H...
2019-08-02 01:02:01
1402
1
原创 MySQL练习题
—dept部门表deptno部门编号dname部门名称loc地点create table dept ( deptno numeric(2), dname varchar(14), loc varchar(13));insert into dept values (10, 'ACCOUNTING', 'NEW YORK');insert into dept ...
2019-08-01 22:44:54
1110
原创 记录一次hadoop进程起不来
在测试机中换了一个版本的hadoop,发现进程都起不来,查了一下log,发现是端口被占用java.net.BindException: Port in use: 0.0.0.0:50070 at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:963) at org.apache.hadoop.http.Ht...
2019-07-25 23:12:15
167
原创 HDFS读写流程
HDFS读数据流程客户端调用FileSystem 实例的open 方法，获得这个文件对应的输入流InputStream。通过RPC 远程调用NameNode ，获得NameNode 中此文件对应的数据块保存位置，包括这个文件的副本的保存位置( 主要是各DataNode的地址) 。获得输入流之后，客户端调用read 方法读取数据。选择最近的DataNode 建立连接并读取数据。如果客户端...
2019-07-23 23:29:49
82
原创 Hadoop基础
人们常说的Hadoop狭义上说的是Hadoop架构，广义上是指以Hadoop为核心的生态圈官网：hadoop.apache.org版本：apache版,Apache公司开源,需要编译cdh版,cloudera公司开源,兼容性会好一点hadoop架构主要由三个节点组成:HDFS:分布式文件存储YARN:分布式资源分配MapReduce:分布式计算模式Local (Stand...
2019-07-23 23:14:47
105
原创 MySQL常用
数据语言DDL:数据定义语言,如create,drop,alterDML:数据操作语言,如insert,update,delete,selectDCL:数据控制语言,如grant常用的数据类型int:整数(位长11,可以保存11位以下的整数)- long:长整数float:单精度小数(小数为1,七个有效位)double:双精度小数(小数为2,十五个有效位)decimal:数字...
2019-07-16 23:22:29
73
原创 Hadoop-2.6.0-cdh5.7.0安装
下载hadoop包http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/安装前需要提前安装好JDK创建专门的维护用户 hadoop,并赋权限[root@hadoop001 ~]# useradd hadoop[root@hadoop001 ~]# chown -R hadoop:hadoop /opt/softwar...
2019-07-10 00:37:27
646
1
原创 MySQL5.6安装部署
下载MySQL的jar包上传到Linux服务器:rz命令上传mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz
2019-07-03 21:23:00
443
原创 Linux常用命令(三)
进程和端口号查看当前所有正在运行的进程ps -ef2.查看所有正在运行的tail进程ps -ef | grep tailroot 16923 16885 0 19:12 pts/1 00:00:00 tail -F shell.logroot 16929 15916 0 19:12 pts/0 00:00:00 grep --color=auto t...
2019-07-02 23:35:22
99
原创 Linux常用命令（二）
别名:一些常用命令并且比较长的话我们可以用别名代替[hadoop001@JD ~]$ aliasalias egrep='egrep --color=auto'alias fgrep='fgrep --color=auto'alias grep='grep --color=auto'alias l.='ls -d .* --color=auto'alias ll='ls -l --co...
2019-07-01 23:49:38
58
原创 Linux常用命令(一)
用户系统用户：root，目录是在/root普通用户：自己创建的用户，目录是在/home/xxx绝对路径：从根目录开始一级一级往下。 如：/home/hadoop001/相对路径：是指从当前所在路径进入上一级或下一级查看pwd：显示当前所在路径ls：查看当前路径下所有的文件的名称或文件夹的名称（不包括隐藏文件）ls -a：查看当前路径下所有文件名称或文件夹的名称（包括隐藏文件）l...
2019-06-18 23:01:56
119
原创 Linux安装
首先下载VMware https://www.vmware.com/cn.html我这里用的是VNware14,系统是centos6.5下载后一直下一步安装即可打开后点击"文件" -->“新建虚拟机”磁盘大小看自己需要设置内存大小和镜像文件,内存建议最小2G设置完开机下面没有鼠标,用键盘的上下左右,过几步就有了,但是只能在VMware中,按住ctrl+alt切换到...
2019-06-16 17:20:45
68
转载 CDH集群调优：内存、Vcores和DRF
吐槽最近“闲”来无事，通过CM把vcores使用情况调出来看了一眼，发现不论集群中有多少个任务在跑，已分配的VCores始终不会超过120。而集群的可用Vcores是360（15台机器×24虚拟核）。这就相当于CPU资源只用到了1/3，作为一个半强迫症患者绝对不能容忍这样的事情发生。 分析的过程不表，其实很简单就是几个参数的问题。本以为CM能智能的将这些东西配好，现在看来好像不行。以下记录结...
2019-02-15 16:31:10
298
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人