- 博客(18)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 dubbo-架构
Dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。简单的说，dubbo就是个服务框架，如果没有分布式的需求，其实是不需要用的，只有在分布式的时候，才有dubbo这样的分布式服务框架的需求，并且本质上是个服务调用的东东，说白了就是个远程服务调用的分布式框架 其核心部分包含: 1. 远程通讯: 提供对多种基于长连接的NIO框架抽象封装
2017-10-27 19:35:53
357
转载 推荐系统-原理及实现（协同过滤）
功能提高商品的销量 提升用户满意度和忠诚度 更好地了解用户需求协同过滤利用已有的用户群过去的行为或者意见预测当前用户最可能喜欢哪些东西或者对哪些东西感兴趣。输入：用户-物品评分矩阵 输出：当前用户对物品喜欢和不喜欢程度的预测数值 和n项的推荐物品的列表（不包含当前用户已经购买过的物品）实现方式 基于用户的最近邻 前提/假设 用户的偏好不会随着时间变化输入的评分数据集和当前用户ID 找
2017-10-22 18:50:08
1684
转载 数据挖掘-开发流程
数据收集 用户访问行为数据 业务数据 爬虫 第三方数据预处理 数据清洗和转换 将类别数据->数值（1-of-k） 文本提取数据 （词袋法或TF-IDF） 处理图像或音频（像素 声波 音频 振幅<傅里叶变换>） 数值数据->类别数据，如年龄分段 对数转换 特征正则化、标准化，保证同
2017-10-22 08:27:36
666
转载 高并发-缓存
目的 mysql server的并发量在300-700之间，超过会拒绝连接; 通过缓存提升系统访问的并发量缓存雪崩 缓存失效期：给定key设置的生存时间，当key过期，会被自动删除 缓存失效导致数据未加载到缓存，或者缓存同一时间大面积失效， 导致请求去查询数据库，数据库CPU 内存负载过高，甚至宕机架构： spring springmvc mybatis redis mysqldruid
2017-10-20 23:30:31
1179
转载 web-cookie和session
两种会话跟踪技术cookie由服务端生成，并发送给浏览器，由浏览器将cookie保存到本地文件内。一般在浏览器的”Internet选项->浏览历史记录->设置->查看文件”路径下保存。 cookie文件的名字一般是user@domain，内容都是经过加密的，需要经过CGI程序处理。cookie中存储的信息，可以被所有的当前域名下的页面共享！But，cookie是有目录限制的，根目录设置的cooki
2017-10-20 18:20:35
287
转载 spring-注解
@Configuration 把一个类作为一个IoC容器，它的某个方法头上如果注册了@Bean，就会作为这个Spring容器中的Bean。 @Scope 注解 作用域 @Lazy(true) 表示延迟初始化 @Service 用于标注业务层组件、 @Controller 用于标注控制层组件（如struts中的action） @Repository 用于标注数据访问组件，即D
2017-10-18 08:02:15
364
转载 springmvc-filter与Interceptor的区别
应用场景 1、日志记录：记录请求信息的日志，以便进行信息监控、信息统计、计算PV（Page View）等。 2、权限检查：如登录检测，进入处理器检测检测是否登录，如果没有直接返回到登录页面； 3、性能监控：有时候系统在某段时间莫名其妙的慢，可以通过拦截器在进入处理器之前记录开始时间，在处理完后记录结束时间，从而得到该请求的处理时间（如果有反向代理，如apache可以自动记录）； 4、通用行为
2017-10-17 11:10:52
462
转载 hive-存储格式
textfile Hive默认格式，数据不做压缩，磁盘开销大，数据解析开销大。 行存储,压缩的text文件 hive无法进行合并和拆分，无法对数据进行并行操作Sequencefile Hadoop API 提供的一种二进制文件，它将数据(key,value)的形式序列化到文件里。 Hive 中的SequenceFile 继承自Hadoop API 的SequenceFile，只是它的ke
2017-10-17 10:32:31
326
转载 hbase-rowkey设计
简短 不要超过16个字节，最大不超过100个字节唯一 按照字典顺序排序,最近可能会被访问的数据放到一块散列，避免热点随机前缀 哈希 反转 固定长度或者数字格式，如手机号 时间戳反转 Long.Max_Value - timestamp 如 [userId反转][Long.Max_Value - timestamp]， 查询所有记录
2017-10-16 20:01:15
292
转载 kafka-offset 存储方式
早期版本 消费的 offset 存放在 Zookeeper 集群,利用 Zookeeper 来存储记录每个消费者/组的消费进度,消费者需要频繁的去与 Zookeeper 进行交互，而利用ZKClient的API操作Zookeeper频繁的Write其本身就是一个比较低效的Action，对于后期水平扩展也是一个比较头疼的问题。如果期间 Zookeeper 集群发生变化，那 Kafka 集群的吞吐量也
2017-10-15 18:16:42
1491
转载 mysql-锁(lock)
锁是计算机协调多个进程或纯线程并发访问某一资源的机制。在数据库中，除传统的计算资源（CPU、RAM、I/O）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所在有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说，锁对数据库而言显得尤其重要，也更加复杂。防止更新丢失，并不能单靠数据库事务控制器来解决，需要应用程序对要更新的数据
2017-10-13 12:59:38
462
转载 spring-事务传播特性
多个事务方法相互调用时，事务如何在这些方法间传播 Spring 默认的事务传播行为是 PROPAGATION_REQUIRED，它适合于绝大多数的情况。假设 ServiveX#methodX() 都工作在事务环境下（即都被 Spring 事务增强了），假设程序中存在如下的调用链：Service1#method1()->Service2#method2()->Service3#method3()，那
2017-10-13 11:17:20
242
转载 事务-隔离级别
Read uncommitted 另一个事务可以看到这个事务未提交的数据 产生脏读，不可重复读和幻读。 set tx_isolation=’READ-UNCOMMITTED’; select @@tx_isolation;Read committed 事务里面特定语句结束之后，不匹配该sql语句扫描条件的锁，会被释放。 一个事务修改的数据提交后才能被另外一个事务读取 (1)有一个交叉的
2017-10-13 11:07:14
183
原创 http-简介
特点1.支持客户/服务器模式。2.简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。3.灵活：HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。4.无连接：无连接的含义是限制每次连接只处理一个请求。服
2017-10-13 09:37:25
516
转载 tcp-三次握手与四次挥手
三次握手 client发送一个SYN(J)包给server，然后等待server的ACK回复，进入SYN-SENT状态。B确认 A的发信能力server接收到SYN(seq=J)包后就返回一个ACK(J+1)包以及一个自己的SYN(K)包，然后等待client的ACK回复，server进入SYN-RECIVED状态。A确认 B的发信能力 收信能力client接收到server发回的ACK(J+1)
2017-10-13 09:11:08
349
原创 flume-架构
source avro thrift jms kafka scribe taildir twitter netcat exec SequenceGenerator SpoolDirectory Stress syslogchannel file jdbc kafka spillable-memorysink dataset hdfs hive irc el
2017-10-12 23:15:20
232
转载 谈谈高并发解决方案
页面 按钮置灰，禁止用户重复提交； Js倒计时，在一段时间内只能提交一次请求站点 动静分离，压缩缓存 cdn 导流 webserver: 根据UID限频 页面缓存 nginx:反向代理+负载均衡服务 读写操作基于缓存（memecache,redis） 异步+消息队列：请求排队处理，分批放行 热点分离 业务隔离：预售报名、分时段数据库 读写分离 分库分表 数据库集群
2017-10-12 19:18:04
997
原创 谈谈编程的学习方法
应用场景-架构-编程模型-封装架构-源码-系统学习what-why-when-how-how betterblogs,books-模仿-自定义项目实战研究面试题
2017-10-08 12:05:34
371
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人