大数据
文章平均质量分 53
cuidiwhere
平静,持之以恒
展开
-
缓存技术Tair和Redis
前记:映像中之前工作的时候缓存用的是Tair。 最近看到很多关于Redis缓存的blog。于是在网上搜集了一些资料,下面是整理的读书笔。1. 为什么要用缓存?why?由于程序直接访问数据库的时间成本很高的,使用缓存可以减少数据库的访问次数,提升程序的响应时间。同时还能降低数据的压力when? 什么时候使用缓存? 不经常变化的数据;或者从源头读取费时费力的数据都可以放缓存,例如:ca...原创 2019-10-27 11:28:36 · 2242 阅读 · 0 评论 -
分布式系统的理解
1. 如何理解“分布式”? 经常听到”分布式系统“,”分布式计算“,”分布式算法“。分布式的具体含义是什么?狭义的分布是指,指多台PC在地理位置上分布在不同的地方。2. 分布式系统 分布式系统:多个能独立运行的计算机(称为结点)组成。各个结点利用计算机网络进行信息传递,从而实现共同的“目标或者任务”。 分布式程序: 运行在分布式系统上的计算机程序。原创 2012-08-20 12:43:24 · 14952 阅读 · 1 评论 -
分布式key-Value存储
1. 为什么要使用分布式KV存储系统? 许多Web应用都将数据保存到RDBMS中,应用服务器从中读取数据并在浏览器中显示。 但随着数据量的增大、访问的集中,就会出现RDBMS的负担加重、数据库响应恶化、 网站显示延迟等重大影响。分布式KV存储系统用来解决该问题。 2. 常见的产品2.1 Memcached 是一个高性能的分布式内存对象缓存系统, 由公司L原创 2013-03-23 19:42:12 · 1775 阅读 · 0 评论 -
Esper-技术简介
转自 http://blog.csdn.net/mdj67887500/article/details/68923921.1介绍CEP和事件流分析Esper引擎是为了满足对事件进行分析并做出反应等这些应用需求而产生的。这些应用要求实时或接近实时处理事件(或消息)。有时候是为了应对复杂事件处理(CEP)和事件流分析的。关键要考虑这些类型应用的(高)吞吐量、(低)响应时间和转载 2012-10-02 21:13:43 · 1472 阅读 · 0 评论 -
分布式计算、并行计算及集群、网格、云计算的区别
转自: http://blog.163.com/litianyichuanqi@126/blog/static/1159794412012387453794/并行计算:并行计算是相对于串行计算来说的。可分为时间上的并行和空间上的并行。 时间上的并行就是指流水线技术,而空间上的并行则是指用多个处理器并发的执行计算。例如基于CUDA编程。并行计算的目的就是提供单处理器无法提供的性能(处转载 2012-08-19 23:49:42 · 24474 阅读 · 2 评论 -
hive表中字段显示为NULL时,HDFS文件中存储为\N
今天遇到个问题: 利用java程序从云梯上读文件,解析出来的内容,会出现null,和\N。1. 字符串null是因为,当字段=‘’时,存储为null。利用命令 alter table adl_cici_test_fdt set serdeproperties('serialization.null.format' = '');可是实现该功能原创 2013-09-11 22:45:03 · 10077 阅读 · 0 评论 -
TDW VS 飞天5K
前记: 刚刚打开csdn首页,一篇“腾讯大规模Hadoop集群实践”的文章占据了最显眼的位置。这让我想起前段时间看到的另外一篇文章:飞天5K于是翻出来,仔细对比了下1. 离线数据平台 TDW(Tencent distributed Data Warehouse)是腾讯最大的离线数据处理平台 ODPS(Open Data Processing原创 2014-02-20 23:04:07 · 1660 阅读 · 0 评论 -
数据挖掘技术简介和 Weka
数据挖掘技术简介:http://blog.csdn.net/huaqiuhu/article/details/186211weka: http://en.wikipedia.org/wiki/Weka_%28machine_learning%29book:http://product.china-pub.com/29304原创 2013-01-18 20:03:16 · 701 阅读 · 0 评论 -
大数据工程师技术面攻略
这篇《大数据工程师技术面攻略》博客对我帮助很大。总结如下:1. 大数据相关的技术应用也比较普及,hdfs、mapreduce、hive、spark、spark streaming、hbase、flume、kafka、storm、kylin等等。由于这些技术先天与java比较接近,所以很多传统的java工程师转行到大数据方向。根据国家政策友好和市场需求量大,所以大数据方向,这也是我想做的,哈哈!...转载 2019-01-06 12:21:23 · 464 阅读 · 0 评论