数据库
liuwei063608
这个作者很懒,什么都没留下…
展开
-
58招聘数据仓库技术架构图
数据源有三个来源1.自己的后端表(包括mysql和hive)2.APP自己的埋点日志3.其他部门的hive表ODS层数据抽取1.Flume抽取埋点日志2.kafka抽取实时信息并存入HDFS3.Sqoop抽取mysql表DW层对数据进行加工1.spark、hive直接处理表,归类成维度表和事实表2.spark、MR处理日志文件成事实表3.sparkstreaming直接处理...原创 2019-10-21 16:05:58 · 399 阅读 · 0 评论 -
数据库事务管理
概述 不管你直接采用JDBC进行数据库事务操作,还是使用基于Spring或EJB的声明式事务功能进行事务管理,它们最终都是使用底层数据库的事务管理功能完成最终任务的。数据库事务拥有许多语义概念,它们是你进行事务编程和事务管理的基础,只有掌握好数据库事务的基础知识,才能深刻理解数据库事务,进而开发出正确合理的应用。 文将对应用开发中所涉及的数据库事务知识进行概括性的讲解,转载 2014-09-28 16:16:31 · 1019 阅读 · 0 评论 -
Redis Cluster(Redis 3.X)设计要点
Redis Cluster设计要点:架构:无中心Redis Cluster采用无中心结构,每个节点都保存数据和整个集群的状态每个节点都和其他所有节点连接,这些连接保持活跃使用gossip协议传播信息以及发现新节点node不作为client请求的代理,client根据node返回的错误信息重定向请求数据分布:预分桶预分好16384个桶,根据 CRC16转载 2015-11-19 14:21:21 · 427 阅读 · 0 评论 -
redis集群环境搭建
1.以root用户登录,在/home 目录下创建redis目录2.wget http://download.redis.io/releases/redis-3.0.4.tar.gz3.解压redis-3.0.4.tar.gz tar -zxvf redis-3.0.4.tar.gz3,mv到/usr/share/redis34.安装gcc yum install gcc原创 2015-11-19 11:14:42 · 411 阅读 · 0 评论 -
《impala实战》读书笔记
最近公司在用impala,也读了贾传青的《impala实战》,总结下impala1.最大的优点,cdh中和hive共用元数据,但是sql查询速度比hive处理快很多,目测最少能节省一半的查询速度2.没有使用MapReduce进行并行计算,中间结果不存入硬盘,impala更注重内存和网络IO的利用3.缺点可能是需要注意机器的内存资源4.要想查的快也需要分区,一般用常用字段进行分区原创 2017-03-23 14:04:39 · 403 阅读 · 0 评论