qq_20158761的博客

原创 项目开发流程

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

原创 Could not autowire. No beans of ‘xxxx‘ type found解决

1.部分原因是ServinceImpl或者Mapper层未添加注解@SERVER2.我这边是Controller层报错，Service接口无法跳转实现类，排查后并不是注解问题，是idea缓存问题。解决方案：1.注解问题请添加相应注解2.File–Invalidate caches/restart 就好了，重启后报错解除，就可以从接口service跳转到下面实现类了...

原创 JVM内存分析

1.Java的JVM的内存可分为3个区：堆(heap),栈(stack),方法区(method)2.堆区 1.存储的全部是对象,每个对象都包含一个与之对应的class信息 2.JVM只有1个堆区被所有线程共享,堆中不存放基本类型和对象的引用,只存放对象本身 3.一般由程序员分配释放,若程序员不释放,程序结束可能由OS回收3.栈区 1.每个线程包含1个栈区,保存基础数据类型和自定...

原创 HIVE总结

1.Hive架构设计概念user interface ：hive cli,hive client,hwiHive CLI(hive command line interface):Hive命令行交互模式,默认支持Hive Client(jdbc/odbc/beeline):Hive jdbc交互模式,外部程序或者服务对接的必选项HWI (hive web interface):Hive w...

原创 JAVA删除本地目录下所有文件以及目录

public static boolean rm_r(String dirpath){ File f = new File(dirpath); if(f.isDirectory()){ File[] fl= f.listFiles(); for(File fs: fl){ rm_r(fs.toString()); } } return f.delete(); ...

原创 Git Linux命令总结

一.本地git操作1.安装gityum install git2.配置gitgit config --global user.name “gudepeng”git config --global user.email "ddddd@qq.com"3.创建本地git仓库git init4.提交文件到缓存区git add a.txt5.提交文件到本地库git commit -m ...

原创 MR job中map和reduce的确定时机

任务在开始之前即完全确定。map个数的影响因子：1）数据总大小2) blocksize大小3) 文件个数4）文件格式(txt,orc则可以分块，若为gzip/snappy则不能利用分布式计算的优势）。reduce个数的影响因子：1） 自定义设置，但是不是一定有效。如遇到order by等特殊关键字，则受该类关键字制约。2） 推测估计公式计算： input_map_d...

原创 3.海量数据部署与高实时查询技术方案

原创 2.海量数据部署与高实时查询需求分析说明书

思路分析图（海量数据索引构建、分发布署、查询过程）总体思路：大数据转化成小块数据，根据小块建立索引，在搜索时候直接定位到小块数据后进行快速查询。具体思路：2.基于2.2亿条博文数据，构建满足条件的索引结构与查询引擎2.1索引结构与查询引擎其实是一回事，索引定了，查询引擎主要是用已定的索引结构去查询。2.2输入博文id，拿到博文的详情信息，显然是数据库查询问题2.3数据库选型分析承...

原创 1.海量数据部署与高实时查询项目概述和项目需求分析

需求说明书1.做什么事情给定一批微博博文数据，随意输入一个微博博文id，实时（延时不超300ms）获取该博文id对应的博文明细信息。2.为什么要做海量数据场景下，高实时响应单id查询。如身份证号、电话号码、学号等个人信息查询，均适用该场景。3.业务逻辑（产出prd文档）3.1.给定具有时间连续性的微博文章不低于100万条即可，实际给出2.2亿条。3.2.基于2.2亿条博文数据，构...

原创 4.DBD-工具类抽象实现

package com.tl.job002.utils;import java.io.File;import com.sleepycat.je.Database;import com.sleepycat.je.DatabaseConfig;import com.sleepycat.je.DatabaseEntry;import com.sleepycat.je.DatabaseExcep...

原创 3.DBD-AIP应用完整示例

import java.io.File;import com.sleepycat.je.Database;import com.sleepycat.je.DatabaseConfig;import com.sleepycat.je.DatabaseEntry;import com.sleepycat.je.Environment;import com.sleepycat.je.Envir...

原创 2.BDB-API应用

一.步骤拆解1.数据库环境变量配置2.数据库CRUD操作3.数据库关闭1.数据库环境变量配置 /** * 初始化数据库参数 */ // 数据库所在的存储文件夹 String dbEnvFilePath = "bdb"; // 数据库名称 String database = "weibo"; // 环境变量的声明 Environment ...

原创 1.BDB介绍-berkeleydb

1.开源-kv数据库 berkeleydb2.文件数据库3.嵌入式数据库4.提供多编程语言调用的各个版本，数据具备完全可移值性5.提供一系列函数访问数据库，对SQL早期不支持，现在支持的有限6.无网络通信模块7.开发公司：Sleepycat Software->Oracle8.BDB的java版本选择百度查找 Oracle Berkeley DB选择最新版的上一版本,并找到...

原创 文本导入hive表中

一.确定数据文件集合1.来源渠道自行写网络爬虫采集：研发成本高、不是本职工作公开数据集：无研发成本，公开数据集质量高，数据量可大可小，按需获取即可。第三方数据买卖公司：无研发成本，需要付费才能获取。2.渠道选择基于项目需求，选择公开数据集即可。搜狗搜验室-http://www.sogou.com/labs/多领域公开数据集-http://blog.csdn.net/marleyle...

原创 微博舆情挖掘需求分析

微博舆情挖掘需求分析目录1、项目需求是什么2、项目需求的任务3、项目需求的作用4、项目需求的评估方法5、本项目需求说明书详情1、项目需求是什么做什么事情( 宏观描述）为什么要做（讲清楚原因和价值）从业务逻辑角度，讲清楚要如何做（微观细节说明，产出prd文档，即Product Requirement Document）明确阶段目标(里程碑)和验收标准（干成什么样子算ok）风...