- 博客(9)
- 收藏
- 关注
RSS订阅原创 linux shell脚本截取字符串的八种方式
创建文件：vim shell01.shecho "=====截取字符串的八种方式======"string="http://localhost:8080/myprogram/index.html"echo ${string}echo '#*//从左边开始， 删除//左边的值，保留右边的值 '${string#*//}echo '#//*无法截取，#只能从左
2017-09-20 09:11:20
9653
原创 OLAP和OLTP
OLAP和OLTP的区别(基础知识)联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的，他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）
2017-09-19 17:08:56
8152
原创 sql面试题
教师号 星期号 是否有课 １ ２ 有 １ ３ 有 ２ １ 有 ３ ２ 有` １ ２ 有写一条sql语句让你变为这样的表教师号 星期一 星期二 星期三 １ ２ １ ２ １ ３ １各星期下的数字表示：对应的教师在星期几已经排的课数=============
2017-09-18 09:30:15
12726
原创 hadoop集群安装配置
写在前面：博主本人用的是13年的pc廉价pc机，硬件有限，所以用4台虚拟机，一主三从的形式搭建了一个hadoop集群，并没有搭建高可用的集群，下面为整体步骤：1、修改主机名 /etc/sysconfig/network2、修改hosts文件 /etc/hosts3、安装jdk4、安装hadoop5、修改配置文件6、克隆虚拟机7、修改各个机器上的host
2017-09-16 14:15:31
8684
原创 hdfs元数据保存
====namenode如何保存元数据1.nn对元数据的管理分为三部分，内存中完整的元数据，磁盘中接近完整的元数据镜像文件（fsimage），记录元数据操作信息的edits文件2.snn通过配置，定时请求nn，进行checkpoint3.nn接受到checkpoint请求，会立即滚动正在写的edits文件4.snn从nn上下载fsimage和edits文
2017-09-16 13:05:08
10912
原创 hdfs读文件流程
====客户端向hdfs文件系统读数据流程1.客户端向nn请求读数据-/aaa.txt2.nn检查是否有这个数据，返回这个文件的元数据（有几个副本，分为几个block，block分别在在哪个dn上）3.客户端拿到信息，选择距离最近的dn请求连接4.与DN建立连接管道，dn向管道中以packet形式写数据5.客户端从管道中拿到blokck1，客户端继续请求下一
2017-09-15 22:57:17
8227
原创 hdfs写文件流程
eg：client上传150M的数据到hdfs1.客户端向namenode请求上传数据。是先写到edits文件中，记录操作日志2.namenode检查连接条件，返回同意连接3.client端请求上传第一个block（128M）,返回dn列表4.nn返回可用的dn列表dn1，dn2，dn4（dn选择策略：距离/空间；第一个副本优先选择同机架的dn节点，第二个副本考虑安全性要跨机架，第
2017-09-15 22:27:19
8376
原创 初识hadoop
hadoop做了什么事： 提供了海量离线数据的存储，提供了海量离线数据的分布式计算，同时具备高可靠，高吞吐，分布式的特点。hadoop核心组件： hdfs（分布式存储），mapreduce（分布式计算），yarn（资源调度平台）①海量数据的存储： 通过hdfs实现，hdfs是一个分布式的高可靠的存储框架，由namenode，datanode，secondary
2017-09-15 17:16:35
7665
原创 关于就业的一些思考
今天看到了一篇文章，一个工作三年的人关于找工作的思考，对我启发很大，总结如下：保持学习的习惯：既然选择了做技术，就要时刻保持学习的习惯，无论平台如何，在三年后再次找工作时，就不会因为工作三年却无法匹配三年工作经验而苦恼，一个经验使用三年不等价于有三年工作经验，所以平时学习中不仅要注意知识体系的广度，还要注重知识的深度。谦逊的态度：在这个行业里，技术不能完全说是最大的，但是技术绝对可以提升自
2017-09-15 15:45:43
6482
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人