数据库
坦然之
这个作者很懒,什么都没留下…
展开
-
1.海量数据部署与高实时查询项目概述和项目需求分析
需求说明书 1.做什么事情 给定一批微博博文数据,随意输入一个微博博文id, 实时(延时不超300ms)获取该博文id对应的博文明细信息。 2.为什么要做 海量数据场景下,高实时响应单id查询。如身份证号、电话号码、学号等个人信息查询,均适用该场景。 3.业务逻辑(产出prd文档) 3.1.给定具有时间连续性的微博文章不低于100万条即可,实际给出2.2亿条。 3.2.基于2.2亿条博文数据,构...原创 2019-03-13 22:08:17 · 165 阅读 · 0 评论 -
2.海量数据部署与高实时查询需求分析说明书
思路分析图(海量数据索引构建、分发布署、查询过程) 总体思路:大数据转化成小块数据,根据小块建立索引,在搜索时候直接定位到小块数据后进行快速查询。 具体思路: 2.基于2.2亿条博文数据,构建满足条件的索引结构与查询引擎 2.1索引结构与查询引擎其实是一回事,索引定了,查询引擎主要是用已定的索引结构去查询。 2.2输入博文id,拿到博文的详情信息,显然是数据库查询问题 2.3数据库选型分析 承...原创 2019-03-13 22:16:22 · 262 阅读 · 0 评论 -
3.海量数据部署与高实时查询技术方案
原创 2019-03-13 22:19:45 · 504 阅读 · 0 评论 -
MR job中map和reduce的确定时机
任务在开始之前即完全确定。 map个数的影响因子: 1)数据总大小 2) blocksize大小 3) 文件个数 4)文件格式(txt,orc则可以分块,若为gzip/snappy则不能利用分布式计算的优势)。 reduce个数的影响因子: 1) 自定义设置,但是不是一定有效。如遇到order by等特殊关键字,则受该类关键字制约。 2) 推测估计公式计算: input_map_d...原创 2019-03-13 22:46:57 · 296 阅读 · 0 评论 -
1.BDB介绍-berkeleydb
1.开源-kv数据库 berkeleydb 2.文件数据库 3.嵌入式数据库 4.提供多编程语言调用的各个版本,数据具备完全可移值性 5.提供一系列函数访问数据库,对SQL早期不支持,现在支持的有限 6.无网络通信模块 7.开发公司:Sleepycat Software->Oracle 8.BDB的java版本选择 百度查找 Oracle Berkeley DB 选择最新版的上一版本,并找到...原创 2019-03-13 19:19:09 · 734 阅读 · 0 评论 -
2.BDB-API应用
一.步骤拆解 1.数据库环境变量配置 2.数据库CRUD操作 3.数据库关闭 1.数据库环境变量配置 /** * 初始化数据库参数 */ // 数据库所在的存储文件夹 String dbEnvFilePath = "bdb"; // 数据库名称 String database = "weibo"; // 环境变量的声明 Environment ...原创 2019-03-13 19:25:02 · 296 阅读 · 0 评论 -
3.DBD-AIP应用完整示例
import java.io.File; import com.sleepycat.je.Database; import com.sleepycat.je.DatabaseConfig; import com.sleepycat.je.DatabaseEntry; import com.sleepycat.je.Environment; import com.sleepycat.je.Envir...原创 2019-03-13 19:27:08 · 173 阅读 · 0 评论 -
4.DBD-工具类抽象实现
package com.tl.job002.utils; import java.io.File; import com.sleepycat.je.Database; import com.sleepycat.je.DatabaseConfig; import com.sleepycat.je.DatabaseEntry; import com.sleepycat.je.DatabaseExcep...原创 2019-03-13 19:28:03 · 216 阅读 · 0 评论 -
HIVE总结
1.Hive架构设计概念 user interface :hive cli,hive client,hwi Hive CLI(hive command line interface):Hive命令行交互模式,默认支持 Hive Client(jdbc/odbc/beeline):Hive jdbc交互模式,外部程序或者服务对接的必选项 HWI (hive web interface):Hive w...原创 2019-04-08 17:28:00 · 526 阅读 · 0 评论