- 博客(233)
- 收藏
- 关注
RSS订阅转载 分布式服务框架dubbo原理解析
alibaba有好几个分布式框架，主要有：进行远程调用(类似于RMI的这种远程调用)的(dubbo、hsf)，jms消息服务(napoli、notify)，KV数据库(tair)等。这个框架/工具/产品在实现的时候，都考虑到了容灾，扩展，负载均衡，于是出现一个配置中心(ConfigServer)的东西来解决这些问题。基本原理如图： 在我们的系统中，经常会有一些跨系统
2016-12-14 08:58:55
704
1
转载 Flume入门笔记------架构以及应用介绍
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 （一）Flume架构介绍 1、Flume的概念 flume是分布式的日
2016-12-11 22:09:43
1241
转载 Kafka简介
Kafka简介在当前的大数据时代，第一个挑战是海量数据的收集，另一个就是这些数据的分析。数据分析的类型通常有用户行为数据、应用性能跟踪数据、活动数据日志、事件消息等。消息发布机制用于连接各种应用并在它们之间路由消息，例如通过message broker。Kafka是快速地将海量信息实时路由到消费者的解决方案，实现信息的生产者和消费者的无缝集成。它不会阻塞信息的生产者，同时信息生产者不会知道
2016-12-11 22:01:05
662
转载 kafka学习笔记：知识点整理
一、为什么需要消息系统1.解耦： 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余： 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。3.扩展性
2016-12-11 21:59:25
790
转载 redis-cluster研究和使用
最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到redis3 release出来后，换掉memCache 集群. 转载请注明出处哈:http://hot66hot.iteye.com/admin/blogs/2050676一:关于redis cluster1:redis cluster的现状reids-cluster计划在redis3
2016-12-11 21:51:40
1012
转载 高性能Mysql主从架构的复制原理及配置详解
温习《高性能MySQL》的复制篇.1 复制概述 Mysql内建的复制功能是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个
2016-12-11 21:40:21
378
转载 ZooKeeper学习
ZooKeeper 简介：ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等ZooKeeper代码版本中，提供了分布式独享锁、选举、队列的接口，代码在zookeeper-3.4.3\src\recipes 1 Zookeeper的基本概念1.1 角色Z
2016-12-11 19:12:40
304
转载 Zookeeper 的学习与运用
引子？云计算越来越流行的今天，单一机器处理能力已经不能满足我们的需求，不得不采用大量的服务集群。服务集群对外提供服务的过程中，有很多的配置需要随时更新，服务间需要协调工作，这些信息如何推送到各个节点？并且保证信息的一致性和可靠性？众所周知，分布式协调服务很难正确无误的实现，它们很容易在竞争条件和死锁上犯错误。如何在这方面节省力气？Zookeeper是一个不错的选择。Zookeepe
2016-12-11 18:58:53
268
转载 HBase 超详细介绍
1-HBase的安装HBase是什么？HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作，如右侧的图所示：HBase在产品中还包含了Jetty，在HBase启动时采
2016-08-16 13:59:19
455
转载 Hbase原理、基本概念、基本架构
概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服
2016-08-16 13:54:26
327
转载 HADOOP1.X中HDFS工作原理
HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。（商用机）
2016-08-03 15:56:27
535
转载 HADOOP的运行模式
Hadoop的运行，分三种模式：单机模式，伪分布模式，完全分布模式。 单机模式：单机模式是hadoop默认的模式；主要用于开发调试MapReduce程序的应用逻辑；不会和守护进程交互；程序在一个jvm虚拟机上运行。 伪分布模式：在“单节点集群”上运行Hadoop；所有的守护进程都运行在同一台机器上；该模式在单机
2016-08-03 15:03:19
544
转载 HADOOP版本选择
Hadoop作为开源项目，很多分枝。也有很多社区的支持。所以hadoop版本发展很快。大部分情况下，我们可以选择Apache社区版本：完全开源，免费，非商业。apache社区的hadoop版本分枝较多，而且部分hadoop存在bug。在选择hadoop，hbase，hive等时，需要考虑兼容性。Cloudera版本：开源，免费，有商业和非商业版本。是在apa
2016-08-03 14:46:51
549
转载 整体了解HADOOP框架及一些开源项目
Hadoop框架中，有很多优秀的工具，帮助我们解决工作中的问题。Hadoop的位置从上图可以看出，越往右，实时性越高，越往上，涉及到算法等越多。越往上，越往右就越火…… Hadoop框架中一些简介 HDFSHDFS，（Hadoop Distributed File System） hadoop分布式文件系统。在Goog
2016-08-03 14:37:06
6478
转载 大数据时代——为什么用HADOOP
什么叫大数据“大”，说的并不仅是数据的“多”！不能用数据到了多少TB ，多少PB 来说。对于大数据，可以用四个词来表示：大量，多样，实时，价值。 大量：这个大家都知道，想百度，淘宝，腾讯，Facebook，Twitter等网站上的一些信息，这肯定算是大数据了，都要存储下来。多样：数据的多样性，是说数据可能是结构型的数据，也可能是非结构行的文本，图片，视频，语
2016-08-03 14:15:31
1627
转载 HTTP协议详解
当今web程序的开发技术真是百家争鸣，ASP.NET, PHP, JSP，Perl, AJAX 等等。 无论Web技术在未来如何发展，理解Web程序之间通信的基本协议相当重要, 因为它让我们理解了Web应用程序的内部工作. 本文将对HTTP协议进行详细的实例讲解，内容较多，希望大家耐心看。也希望对大家的开发工作或者测试工作有所帮助。使用Fiddler工具非常方便地捕获HTTP Request和HT
2015-04-19 21:27:44
463
转载 Jmeter性能测试 入门
Jmeter是一款优秀的开源测试工具， 是每个资深测试工程师，必须掌握的测试工具，熟练使用Jmeter能大大提高工作效率。熟练使用Jmeter后， 能用Jmeter搞定的事情，你就不会使用LoadRunner了。【小坦克Jmeter教程】，将会覆盖Jmeter的各个功能，并且会通过丰富的实例，让读者快速掌握Jmeter的各种用法 。本文将通过一个实际的测试例子， 来讲解Jm
2015-04-19 20:10:11
1045
转载 Fiddler 教程
Fiddler是最强大最好用的Web调试工具之一，它能记录所有客户端和服务器的http和https请求，允许你监视，设置断点，甚至修改输入输出数据. 使用Fiddler无论对开发还是测试来说，都有很大的帮助。阅读目录Fiddler的基本介绍Fiddler的工作原理同类的其它工具Fiddler如何捕获Firefox的会话Firefox 中使用Fiddler插件Fiddler如何捕获H
2015-04-19 19:58:27
543
转载 jmeter实践
本文主要介绍性能测试中的常用工具jmeter的使用方式，以方便开发人员在自测过程中就能自己动手对系统进行自动压测和模拟用户操作访问请求。最后还用linux下的压测工具ab做了简单对比。1. Jmeter相关概念简介：JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试，它最初被设计用于Web应用测试但后来扩展到其他测试领域。Jmeter
2015-03-23 09:47:59
581
转载 工行北开的感恩节礼物
感恩节的电影开场之前写下这热乎的面经用以攒人品，以及对关心帮助过我的人表示感激。 写在前面：听说收到工行北开二面通知的人都是参加了预面试的（也就是笔试前的一面），未参加的都被调剂到了珠海总开。 十月下旬有幸收到工行北开的一面通知，因和百度面试冲突调节了后者的时间。刚面试完的时候觉得预面试有些鸡肋，未参加也会得到笔试通知。现在想想，如果“写在前面”是事实的话，我自己也算是一举两得了吧，还给百
2013-11-28 09:44:25
840
转载 12个高矮不同的人,排成两排——Catalan数
问题描述: 12个高矮不同的人,排成两排,每排必须是从矮到高排列,而且第二排比对应的第一排的人高,问排列方式有多少种? 还有一道和这个题相关的题：http://blog.csdn.net/jiyanfeng1/article/details/8068811 （平衡括号问题）和（异构BST问题）问题分析: 我们先把这12个人从低到高排列,然后,选择6个人排在第一排,那么剩
2013-11-19 22:45:39
714
转载 最大连续递增数字串
求最大连续递增数字串（如“ads3sl456789DF3456ld345AA”中的“456789”）int GetSubString(char *strSource, char *strResult) { int iTmp=0, iHead=0, iMax=0; for(int Index=0, iLen=0; strSource[Index]; Index++) { if(
2013-11-16 22:14:25
1100
转载 随机分配座位，共50个学生，使学号相邻的同学座位不能相邻
随机分配座位，共50个学生，使学号相邻的同学座位不能相邻#include #include #include #define STUDENT_NUM 50int student[STUDENT_NUM] = {0};bool IsInSet(int pos, int number){ for (int i = 0; i < pos; i++) {
2013-11-08 18:34:56
2193
转载 任务分配的最优方案
四个工人，四个任务，每个人做不同的任务需要的时间不同，求任务分配的最优方案。#include "stdafx.h"#define N 4int Cost[N][N] = { {2, 12, 5, 32}, // 行号：任务序号，列号：工人序号{8, 15, 7, 11}, // 每行元素值表示这个任务由不同工人完成所需要的时间{24, 18, 9, 6},{21, 1, 8, 2
2013-11-07 19:34:11
2270
转载 知名互联网公司网站架构图
引言 近段时间以来，通过接触有关海量数据处理和搜索引擎的诸多技术，常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外，更为架构图背后所隐藏的设计思想所叹服。个人这两天一直在搜集各大型网站的架构设计图，一为了一饱眼福，领略各类大型网站架构设计的精彩之外，二来也可供闲时反复琢磨体会，何乐而不为呢?特此，总结整理了诸如国外wikipedia，Facebook，Yah
2013-11-03 21:14:14
1363
转载 线程安全
一个进程是可以有多个线程的 不同的进程之间是有独立的地址空间的多个线程可以同时共享进程的存储空间 我个人理解是共享进程的静态存储空间和堆存储空间 至于栈的话 那么应该是无所谓的事了 不同的线程应该不会有什么冲突的 不过我这块有些不明白的地方 先这样吧 以后有新的体会我在补充什么是线程安全?线程安全是怎么完成的(原理)? 线程安全就是说多线程访问同一代码
2013-10-24 10:20:03
743
转载 组合问题（从M个不同字符中任取N个字符的所有组合）
void find(char *source, char *result, int n) { if(n==1) { while(*source) printf("%s%c\n", result, *source++); } else { int i, j; for(i=0; source != 0; i++); for(j=0; result[j] != 0
2013-10-21 15:11:30
943
转载 大数据的加法、减法、乘法以及阶乘的计算问题
限于数据类型的长度有限，对于大数据的计算就无能为力了，这里主要是采用字符数组解决精度问题。 加法、减法的思路差不多，主要就是采用我们固有的思维来计算，直接一位一位地相加。减法的话，先判断2个数的大小，让较大的数始终在前面，并且改变相应的数据长度，把结果放在一个临时的缓冲区里面。计算完毕后，再把数据写入到用户的缓冲区中，并且除去前面多余的0。乘法的计算就有点不同了，最大的
2013-10-21 15:11:07
1144
转载 系统设计面试题分析
系统设计面试题分析应届生在面试的时候，大公司偶尔也会遇到一些系统设计题，而这些题目往往只是考一下你的知识面，或者对系统架构方面的了解，不会涉及编码。很多人感觉难以应对这样的题目，也不知道从何说起，在本文中，总结了回答这类题目需要哪些基础知识，以及怎样使用这些知识回答这些问题。在正式介绍基础知识之前，先罗列几个常见的系统设计相关的笔试面试题：（1）（百度）要求
2013-10-18 21:49:39
1107
转载 看着别人手拿大把的offer，不淡定了怎么办？
不管是在哪里，不管发生什么事，不要随便放下自己。——《当男人恋爱时》很多求职者都会面临一个问题：别人手拿大把大把的offer了，而自己却是两手空空，别人签约之后已经过着“猪狗不如”的悠闲生活了，自己还在为饭碗流血流汗、东奔西走，于是心急如焚，开始变得不淡定，浮躁、焦虑，大有泰山压顶的感觉。其实，人比人，比死人，更何况人外有人，山外有山，自己不如别人难道不是一
2013-10-17 10:21:02
891
转载 面试常考的常用数据结构与算法
数据结构与算法，这个部分的内容其实是十分的庞大，要想都覆盖到不太容易。在校学习阶段我们可能需要对每种结构，每种算法都学习，但是找工作笔试或者面试的时候，要在很短的时间内考察一个人这方面的能力，把每种结构和算法都问一遍不太现实。所以，实际的情况是，企业一般考察一些看起来很基本的概念和算法，或者是一些变形，然后让你去实现。也许看起来简单，但是如果真让你在纸上或者是计算机上快速地完成一个算法，并且设计测
2013-10-11 18:01:38
1094
转载 有两个序列A和B，求k个最小的（ai+bj）
题目：有两个序列A和B,A=(a1,a2,...,ak),B=(b1,b2,...,bk),A和B都按升序排列，对于1解法一：看到这个题目，第一个想法就是求出所有组合的加法结果，然后建立一个大小为k的堆，利用这堆来求出最小的k个和值。那么这种方法需要花费O(k^2)来求出所有组合的和值，然后花费O(k^2lgk)时间来找出满足要求的k个和值。所以最终时间复杂度为O(k^2lgk)。空间复杂度为
2013-10-10 10:12:26
2761
转载 Top K算法详细解析
问题描述：这是在网上找到的一道百度的面试题：搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。假设目前有一千万个记录，这些查询串的重复度比较 高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就是越热门。请你统计最热门的10个查询 串，要求使用的内存不能超过1G。
2013-10-08 10:52:01
589
转载 网易游戏面试
网易游戏面试归来，结果自然是非常的惨淡。师兄去年面试被鄙视，我这什么准备工作都没做，毫无悬念的再次被鄙视。一面就不说了，居然是hr面。上来就让自我介绍，说了些啥我都不记得了，反正是东拼西凑，完全不成条理。本来有笔试的，估计时间不够，直接技术面了。提前半小时到场，先给一张纸，纸上有一个算法题，30分钟：有一个长度为1000的整数数组，所有元素均为随机数。写一个程序，当用户输入
2013-10-07 22:54:22
2845
转载 百度2014校园招聘客户端开发笔试题(南京站)
职位：PC客户端开发时间：2013-9-28地点：南京题目：一、问答题：50分 1、写出new和malloc、delete和free的区别 2、写两个继承类，解释虚表指针和虚表的作用 3、写出static的用法和作用 4、写出计算机的存储器层次，及原因 5、写出对windows中的句柄的理解二、算
2013-10-07 22:51:32
2159
转载 2014百度校招移动终端类笔试题(西安站)
时间：2013-9-21地点：西安职位：移动软件1.问答题： 1）TCP/UDP的区别，以及各自在应用层的协议举例。 2）Android/IOS 中固化数据的方式。 3）下面这个函数的缺陷：（这个有点想不起来了，好久不研究 了，印象不深刻了） char * initMem(char *p) { p=(
2013-10-07 22:50:24
1555
转载 2014百度校招PC客户端研发笔试题(西安站)
时间：2013-9-21地点：西安职位：PC客户端研发一、简答题（每题10分）1. 重载和重写的区别。2. 为什么析构函数往往是virtual的。3. 动态链接库和静态链接库的优点和缺点。4. 进程间通信的方式。5. 画出观察者模式的类图。二、算法设计题 1.使用C
2013-10-07 22:49:41
1187
转载 百度校园2014招聘软件研发类笔试题(深圳站)
时间：2013年9月28日。地点：深圳职位：软件研发问答题：(10*3)1.动态链接库与静态链接库的优缺点2.轮询调度和抢占调度的不同3.数据库的锁及其应用场景算法题：(15*3)1.输入任意正整数，比这个数大的最小不重复数（相邻两个数字不重复），例如1101是重复，1234不重复，1201不重复算法思路1. 将给定的l
2013-10-07 22:43:41
1557
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人