- 博客(14)
- 收藏
- 关注
RSS订阅原创 算法高级进阶一
一 、KMP 算法两个字符串str1,str2;str1中是否包含str2，如果包含请返回str2开始的位置。解析：package com.znst.demo;import java.util.HashMap;public class Test { public static void main(String[] args) { // TODO Auto-generat...
2018-09-28 19:22:19
723
原创 hadoop笔记整理(-)
java环境搭建：查看本机java版本：[xiangkun@hadoop-senior01 ~]$ rpm -qa|grep java卸载本机java版本：[xiangkun@hadoop-senior01 ~]$ rpm -e --nodeps java-1.6.0-执行权限：[xiangkun@hadoop-senior01 softwares]$ chmod u+x ....
2017-07-17 18:09:47
359
原创 HDFS HA 架构分析
单点故障(single point of failure,SPOF)Hadoop2.0之前，在HDFS集群中 NameNode 存在单点故障。对于只有一个NameNode的集群，若NameNode机器出现故障，则整个集群将无法使用，直到NameNode 重新启动。NameNode主要在以下两个发面影响HDFS集群 -NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启 -N
2017-07-05 20:55:34
487
原创 集群机器时间同步
使用ntp配置内网中集群机器时间同步集群的时间要同步 找一台集群 时间服务器 所有的机器与这台机器时间进行定时的同步 比如，每日十分钟，同步一次时间step1: 检查时间服务器有没有装ntp[xiangkun@hadoop-senior01 hadoop-2.5.0]$ rpm -qa|grep ntpntp-4.2.6p5-1.el6.centos.x86
2017-07-05 12:20:40
426
原创 配置SSH无密钥登陆
使用密码登录，每次都必须输入密码，非常麻烦。SSH还提供了公钥登录，可以省去输入密码的步骤。所谓”公钥登录”，就是用户将自己的公钥存储在远程主机上。登录的时候，远程主机会向发送一段随机字符串，用户用自己的私钥加密后，再发回来。远程主机用事先存储的公钥进行解密，如果成功，就证明用户是可信的，直接允许登录shell,不再要求密码。生成公钥／私钥对(连续按四个回车键) $ssh-keygen-t...
2017-07-04 14:29:29
357
原创 mapreduce 三种运行方式
mapreduce 三种运行方式Local (Standalone) Mode 本地模式Pseudo-Distributed Mode 尾分布式模式Fully-Distributed Mode 分布式模式第一种 Local Mode****Local (Standalone) Mode ****cd 到hadoop安装目录： $ mkdir input $ cp etc/hado
2017-07-02 00:43:58
644
原创 MARKDOWM
# 欢迎使用Markdown编辑器写博客本Markdown编辑器使用[StackEdit][6]修改而来，用它写博客，将会带来全新的体验哦：- **Markdown和扩展Markdown简洁的语法**- **代码块高亮**- **图片链接和图片上传**- ***LaTex*数学公式**- **UML序列图和流程图**- **离线写博客**- **导入导出Markdown文件**
2017-06-29 02:53:31
343
原创 《算法导论》学习笔记
插入排序: 思想：从第二个元素开始，从后往前挨个比较，如果后面的元素比前面的元素小，则互换位置。 * 时间复杂度为O(n*n) public static int[] insertSorb(int[] a){ //如果数组元素小于2,直接返回数组 if(a.length<2)return a; //从数组的第二个元素开始，如果当前元素比其前一个
2017-06-27 20:31:11
354
原创 第二部分：分布式服务框架Zookeeper
what is Zookeeper?一个开源的分布式的，为分布式应用提供协调服务的Apache项目。提供一个简单的原语集合，以便于分布式应用可以在它之上构建更高层次的同步服务。设计非常易于编程，它使用的是类似于文件系统那样的树形数据结构目的就是将分布式服务不再需要由于协作冲突而另外实现协作服务。Zookeeper ServiceZookeeper数据结构数据结构和分等级的命名空间 Zo
2017-06-25 22:15:04
204
原创 第五部分：MapReduce Shuffle过程
Shuffle概念意思：洗牌或弄乱Collections.shuffle(List):随机地打乱参数list里的元素顺序MapReduce里Shuffle:描述着数据从map task输出到reduce task 输入的这段过程过程： -step 1: input InputFormat - 读取数据
2017-06-25 21:10:55
244
原创 最大熵模型与EM算法
一、信息论基础（信息、熵、基本性质）(1)信息 (2)熵 (3)基本性质二、最大熵模型介绍(1)最大熵模型的主要思想 (2)最大熵模型的求解GMM模型与EM算法
2017-06-24 22:01:07
325
1
原创 Leetcode刷题笔记_二分法部分
二分法二分法的精髓：函数单调性+计算内容重复不同于分治求答案->求判定 传统二分法 给大小找下标or给下标找大小？二分答案法Leetcode 69,410,363,378
2017-06-24 15:03:57
709
原创 第四部分：MapReduce 编程模型
MapReduce编程模型一种分布式计算模型，解决海量数据的计算问题MapReduce将整个并行计算过程抽象到两个函数 Map(映射)：对一些独立元素组成的的列表的每一个元素进行指定的操作，可以高度并行。Reduce(化简)：对一个列表的元素进行合并。一个简单的MapReduce程序只需要指定map(),reduce(),input和output,剩下的事由框架完成。MapReduce 将
2017-06-23 18:47:44
308
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人