- 博客(46)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 实时数仓的流批一体
一直没时间来写一下关于实时数仓建设的情况，简单先记录一下。我们在2021年Q1对产品进行了实时能力的构建。主要架构是kafka+flink计算引擎的方式。我们公司的实时计算能力其实yi jing
2021-06-14 15:35:32
333
原创 初识公有云和私有云
最近刚开始接触云，粗浅记录下来自己的学习。第一个问题：什么是云计算？第二个问题：为什么要上云？第三个问题：公有云和私有云有什么区别，应该怎么选？云计算，是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池(资源包括网络，服务器，存储，应用软件，服务)，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。【百度百科】举例来讲，建立一个超级数据中心，提高算力，达到普通电脑无法企及的每秒10万亿次的运算能力，一般用户在付费后则可通过
2021-02-22 22:00:39
296
转载 浅谈我是如何从简单的系统功能需求书写规范的需求分析说明书
需求分析说明书，即系统详细的开发流程，本文简单谈谈我是怎么写的，由于本人资历尚浅，可能写的也并不规范，当作经验之谈。想要完成一个需求分析说明书，我个人觉得，需要的知识有抽象转实体，实体提取，实体联系，其实就是数据库的知识，此外还有统一建模语言UML，用来构建各种图，还有确定设计模式，使用何种技术栈最能解决这个需求，技术栈就是前后端使用何种语言，若有移动端，API及文档如何编写，服务器使用哪种，文件...
2019-04-02 07:02:53
3207
1
转载 产品需求文档五分钟轻松搞定！这可能史上最全PRD文档模板
为什么写这篇文章？第一：写PMCAFF的PRD文档，大家都是用户，比较好参考与理解，方便大家来找我写的不好的地方。第二：我在自学PRD文档的编写过程中，总是遇到PRD文档里的对应产品总是找不到或是下架的情况，很难找到比较全面以及详细的参考模板，故一气之下撸了一篇，写好分享之。关于这篇文章：1.PRD本来就没有固定的版式，根据团队以及个人的需求有所差别，本篇力求简单，不累述。2....
2019-04-01 06:59:45
1481
原创 PowerDesigner逆向导出oracle数据库表结构
在已安装好的oracle client机器上，要用powerdesigner导出数据库表结构，需要完成以下步骤：1. 下载安装PowerDesigner2. 配置ODBC3. powerdesigner使用数据源4. 连接数据源，反向导出数据库表结构具体过程为：1. 安装---忽略2. 配置ODBC打开ODBC 32版本 C:\windows\Syswow64\odbcad32.exe，点击添加配...
2018-05-16 10:13:05
2411
转载 网络爬虫（一）：爬虫的含义和URL基本构成——（了解）
一、网络爬虫的定义网络爬虫，即Web Spider，把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网...
2018-02-22 19:51:22
4463
转载 Python 爬虫初学习（一）
2018.1.25决定要开始学习python 爬虫第一步，搭建环境。安装python，有了IDLE这个最基本的解析器。第二步，安装IDE。这里本人安装的是PyCharm。PyCharm社区版，for free，大家可以任取。第三步，安装phantomjs和 Casper，见http://www.cnblogs.com/shaosks/p/6526817.html
2018-01-25 17:40:42
298
原创 区块链（二）——第五次颠覆性的新计算范式
计算范式经历了，大型机--> 个人电脑--> 互联网-->社交网络和移动手机这几个阶段。基于区块链加密协议的网络很可能是新的范式。这个网络世界可以有效的利用区块链科技作为它的经济层，基于此正日益形成一个包括可穿戴设备、物联网传感器、智能手机、平板电脑、笔记本，量化的自我跟踪设备（如Fitbit）、智能家居、智能汽车、智能城市等多种设备的无缝对接的世界，这种区块链能够实现的经济模式不
2016-11-28 17:18:35
1883
原创 区块链初探（一）
区块链被认为是比特币醉主要的创新技术，因为它是所有网络上交易的无信任证明机制。区块链允许全球范围内，各方以去中介化，去中心化的形式进行的各种形式的交易。区块链就像在以后的互联网多个基础协议上运行一个全新的应用层，使得互联网能够进行诸如即时支付（通过一种公认的数字算法货币）或执行更复杂的远期金融合约。任何货币、金融合约、数字化或者物理资产都能够通过类区块链系统进行价值交换。what's
2016-11-28 15:57:32
947
转载 软件工程的几个步骤
软件工程一直以来都缺乏一个统一的定义，很多学者、组织机构都分别给出了自己的定义：Boehm：运用现代科学技术知识来设计并构造计算机程序及为开发、运行和维护这些程序所必需的相关文件资料。 IEEE：软件工程是开发、运行、维护和修复软件的系统方法。 Fritz Bauer：建立并使用完善的工程化原则，以较经济的手段获得能在实际机器上有效运行的可靠软件的一系列方法。软件工
2016-08-22 15:19:10
755
转载 HTTP cookies （一）
HTTP cookies，通常又称作"cookies"，已经存在了很长时间，但是仍旧没有被予以充分的理解。首要的问题是存在了诸多误区，认为cookies是后门程序或病毒，或压根不知道它是如何工作的。第二个问题是对于cookies缺少一个一致性的接口。尽管存在着这些问题，cookies仍旧在web开发中起着如此重要的作用，以至于如果cookie在没有可替代品出现的情况下消失，我们许多喜欢的Web应用
2016-08-03 16:35:13
472
转载 HTTP Cookie 详解二
HTTP Cookie:Cookie通常也叫做网站cookie,浏览器cookie或者http cookie,是保存在用户浏览器端的，并在发出http请求时会默认携带的一段文本片段。它可以用来做用户认证，服务器校验等通过文本数据可以处理的问题。Cookie不是软件，所以它不能被携带病毒，不能执行恶意脚本，不能在用户主机上安装恶意软件。但它们可以被间谍软件用来跟踪用户的浏览行为。所以近年来，
2016-08-03 16:32:31
870
转载 Oracle执行计划不走索引的原因总结
在Oracle数据库操作中，为什么有时一个表的某个字段明明有索引，当观察一些语的执行计划确不走索引呢？如何解决呢？本文我们主要就介绍这部分内容，接下来就让我们一起来了解一下。 不走索引大体有以下几个原因： 你在Instance级别所用的是all_rows的方式 你的表的统计信息(最可能的原因) 你的表很小，上文提到过的,Oracle的优化器认
2016-08-03 14:00:35
13585
转载 session和cookie
session和cookie是网站浏览中较为常见的两个概念，也是比较难以辨析的两个概念，但它们在点击流及基于用户浏览行为的网站分析中却相当关键。基于网上一些文章和资料的参阅，及作者个人的应用体会，对这两个概念做一个简单的阐述和辨析，希望能与大家共同探讨下。 session和cookie的最大区别在于session是保存在服务端的内存里面，而cookie保存于浏览器或客户端文件里面；ses
2016-07-25 15:59:11
310
转载 Hive和Hbase
初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了，我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂，不要紧糊涂的不止你一个，如某个菜鸟的帖子的疑问，when to use Hbase and when to use Hive？....请教了^_^没关系这里我帮大家理清每个技术的原理和思路。Pig一种操作hadoop的轻量级脚本语言，最初又雅
2016-07-07 16:30:55
483
转载 软件质量管理
前边我们介绍了，面向过程的软件开发过程，从计划到测试的整个过程，但是如何确保软件的质量呢？只要我们的软件质量过关才会得到用户的肯定，所以从质量这个角度看，我们该如何管理呢？这篇博客，总结了软件质量管理的相关知识。 首先，总的了解一下，需要我们知道一些相关概念；然后是我们软件质量该如何保证，有什么措施；再者就是软件的可靠性，即如何测量我们的这款软件的质量好与否；最后
2016-07-05 10:30:08
1170
转载 解释型语言与编译型语言的区别
编译型语言在程序执行之前，有一个单独的编译过程，将程序翻译成机器语言，以后执行这个程序的时候，就不用再进行翻译了。解释型语言，是在运行的时候将程序翻译成机器语言，所以运行速度相对于编译型语言要慢。C/C++ 等都是编译型语言，而Java，C#等都是解释型语言。虽然Java程序在运行之前也有一个编译过程，但是并不是将程序编译成机器语言，而是将它编译成字节码（可以理解为一个中间
2016-06-25 15:39:40
336
转载 各大牛逼网站推荐系统
1. 前言随着互联网技术和社会化网络的发展，每天有大量包括博客，图片，视频，微博等等的信息发布到网上。传统的搜索技术已经不能满足用户对信息发现的需求，原因有多种，可能是用户很难用合适的关键词来描述自己的需求，也可能用户需要更加符合他们兴趣和喜好的结果，又或是用户无法对自己未知而又可能感兴趣的信息做出描述。推荐引擎的出现，可以帮用户获取更丰富，更符合个人口味和更加有意义的信息。个
2016-06-22 11:00:45
7803
1
转载 推荐系统中隐语义模型
使用LFM（Latent factor model）隐语义模型进行Top-N推荐最近在拜读项亮博士的《推荐系统实践》，系统的学习一下推荐系统的相关知识。今天学习了其中的隐语义模型在Top-N推荐中的应用，在此做一个总结。隐语义模型LFM和LSI，LDA，Topic Model其实都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。
2016-06-17 16:31:21
986
转载 余弦相似度 —— Cosine Similarity
余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。与欧几里德距离类似，基于余弦相似度的计算方法也是把用户的喜好作为n-维坐标系中的一个点，通过连接这个点与坐标系的原点构成一条直线（向量），两个用户之间的相似度值就是两条直线（向量）间夹角的余弦值。因为连接代表用户评分的点与原点的直线都会相
2016-06-17 16:29:03
14403
1
原创 sqlserver 求百分比
CONVERT(decimal(38,2),a.classtime*1.0/a.totaltime) ||‘%’ ----报错sqlserver中不可以用 || 连接符。round（a.classtime/a.totaltime，2）*100||‘%’ 在oracle中可用，但round在sqlserver中的用法有异。
2016-04-27 16:03:59
6586
1
转载 oracle lag与lead分析函数简介
lag与lead函数是跟偏移量相关的两个分析函数，通过这两个函数我们可以取到当前行列的偏移N行列的值 lag可以看着是正的向上的偏移 lead可以认为负的向下的偏移 具体我们来看几个例子：我们先看下scott的emp表的两列数据:select deptno, sal from scott.emp order by deptnoDEPTNOSAL102450.00
2016-04-15 14:03:05
388
转载 sql server 日期函数datetime应用
Sql Server中的日期与时间函数SQL中的时间函数非常有用，特别是在我们进行初始赋值、复杂查询的时候，就显得特别方便。1、获得系统当前时间select getdate() 2、DateName ( datepart , date )返回表示指定日期的指定日期部分的字符串。--今天是2009-2-24--星期二SELECT DATENAME(ye
2016-03-30 15:53:34
1603
转载 oracle 索引原理
B-TREE索引一个B树索引只有一个根节点，它实际就是位于树的最顶端的分支节点。可以用下图一来描述B树索引的结构。其中，B表示分支节点，而L表示叶子节点。 对于分支节点块（包括根节点块）来说，其所包含的索引条目都是按照顺序排列的（缺省是升序排列，也可以在创建索引时指定为降序排列）。每个索引条目（也可以叫做每条记录）都具有两个字段。第一个字段表示当前该分支节点块下面所链
2015-08-01 20:30:14
919
转载 oracle 11g expdp impdp详细使用方法
11G中有个新特性，当表无数据时，不分配segment，以节省空间解决方法如下图：二、oracle10g以后提供了expdp/impdp工具，同样可以解决此问题1、导出expdp工具使用方法：首先建立directory -- expdir（导入导出都要建立,对应的E:/exp文件夹如果不存在，需要手工建立）导出语法：如果只是要
2015-06-03 15:17:55
744
转载 oracle 查看用户所在的表空间
查看当前用户的缺省表空间 SQL>select username,default_tablespace from user_users; 查看当前用户的角色 SQL>select * from user_role_privs; 查看当前用户的系统权限和表级权限 SQL>select * from user_sys_privs; SQL>s
2015-05-28 15:09:16
424
转载 深度分析ORACLE热点块问题
本文转自网络：1、热点块的定义数据库的热点块，从简单了讲，就是极短的时间内对 少量数据块进行了过于频繁的访问。定义看起来总是很简单的，但实际在数据库中，我们要去观察或者确定热点块的问题，却不是那么简单了。要深刻地理解数据库 是怎么通过一些数据特征来表示热点块的，我们需要了解一些数据库在这方面处理机制的特性。2、数据缓冲区的结构我 们都知道，当查询开始的时候，进程首先
2015-05-21 14:03:26
901
转载 Linux 之 /etc/profile、~/.bash_profile 等几个文件的执行过程
在登录Linux时要执行文件的过程如下：在刚登录Linux时，首先启动 /etc/profile 文件，然后再启动用户目录下的 ~/.bash_profile、 ~/.bash_login或 ~/.profile文件中的其中一个，执行的顺序为：~/.bash_profile、 ~/.bash_login、 ~/.profile。如果 ~/.bash_profile文件存在的话，
2015-05-07 15:42:16
377
转载 Oracle 进程之 增量检查点
一、为什么要有检查点？ 被修改过的块，在oracle中都被统称为脏块.所有的脏块被一个链表串起来,称做检查点队列.在buffercache中,每一个块都有一个buffer header 简称BH,在BH中有一个ckptq项,此项目中记录了指向检查点队列上一个块和下一个块的指针.如果某一个块不在检查点队列中,他的ckptq项为空.通过ckptq项oracle将所有的脏块串成了一个
2015-04-08 15:56:04
434
原创 Oracle 笔记（二） 共享池中的 查询结果高速缓存
Oracle DB 处理PL/SQL 程序单元（过程、函数、程序包、匿名块和数据触发器）的方式与它处理单个SQL 语句的方式十分相似。Oracle DB 分配一个共享区域以存放程序单元经过语法分析和编译之后的形式。Oracle DB 分配一个专用区域，以便存放特定于运行程序单元的会话的值，包括局部变量、全局变量和程序包变量（也称为“程序包实例化”），并且存放用于执行SQL 的缓冲区。如果多个用户运
2015-04-08 14:16:14
1934
原创 oracle SGA 笔记（一） 数据库缓冲区内部机制
SGA之数据库缓冲区高速缓存数据库缓冲区高速缓存是SGA 的一部分，用于存放从数据文件读取的数据块的副本。并行连接到实例的所有用户共享对数据库缓冲区高速缓存的访问。它的管理方法为：LRU(最近最少使用)和停靠计数机制。每个数据缓冲区被分为2个部分：热区和冷区。那些反复被请求的数据被移入热区，与热区大小相关的设置参数包括：_db_percent_hot_default，_
2015-04-08 10:30:10
1502
转载 oracle rank排序
排序：---rank()over(order by 列名 排序)的结果是不连续的，如果有4个人，其中有3个是并列第1名，那么最后的排序结果结果如：1 1 1 4select scoreid, studentid,COURSENAME,totalexamscore ,rank()over(order by TOTALEXAMSCORE desc)orderbyNumfrom SC
2015-04-03 16:18:33
619
原创 Oracle对 SQL语句的数据库处理过程
1. Oracle SGA介绍内存结构=SGA（系统全局区）+PGA（程序全局区）PGA内部包含：用户Session信息、排序信息、Hasharea、堆栈。这些信息被后台进程所控制。SGA：是用于存储数据库信息的内存区，该信息为数据库进程所共享。它包含Oracle 服务器的数据和控制信息,它是在Oracle服务器所驻留的计算机的实际内存中得以分配，如果实际内存不够再往虚拟内存中写。我们
2015-03-06 16:13:00
1002
转载 oracle rac 负载的实现原理
RAC的负载均衡主要是指新会话连接到RAC数据库时，如何判定这个新的连接要连到哪个节点进行工作。在RAC中，负载均衡分为两种，一种是基于客户端连接的，另外一种是基于服务器端的。客户端的负载均衡配置相对简单，只需要在tnsnames.ora中添加LOAD_BALANCE=ON这么一个选项即可。比如下面的TNS：RAC =(DESCRIPTION =(ADDRESS = (PROT
2015-02-04 15:31:27
3553
原创 SQL语句优化解析
任何SQL语句都需要将请求传递到服务器，在服务器上进行解析、准备和执行此SQL，在将结果返回给应用之前可能还需要进行数据库物理IO操作。因此，应用应该避免发出不必要的SQL，什么是不必要的SQL请求呢？1. 请求解析已经解析过的SQL语句2. 向数据库请求最近已经请求过的静态（没有发生变化的）数据优化解析解析是为执行SQL所做的准备过程，涉及语法检查、权限、对象的有效性、以
2015-01-28 14:31:55
406
转载 浅谈oracle的rownum
对于rownum来说它是oracle系统顺序分配为从查询返回的行的编号，返回的第一行分配的是1，第二行是2，依此类推，这个伪字段可以用于限制查询返回的总行数，而且rownum不能以任何表的名称作为前缀。做示例表student(学生)表，表结构为：ID char(6) --学号name VARCHAR2(10) --姓名 create
2015-01-05 15:25:24
395
原创 查看oracle表的分区信息
1. 显示数据库所有分区表的信息：DBA_PART_TABLES 显示当前用户可访问的所有分区表信息：ALL_PART_TABLES 显示当前用户所有分区表的信息：USER_PART_TABLES 2. 显示表分区信息 显示数据库所有分区表的详细分区信息：DBA_TAB_PARTITIONS 显示当前用户可访问的所有分区表的
2014-12-22 11:16:30
2122
转载 oracle中lob类型
oracle中支持4种类型的LOB（large object）CLOB：字符LOB。这种类型用于存储大量的文本信息，如xml或者只是纯文本。这个数据类型需要进行字符集转换，也就是说，在获取时，这个字段中的字符会从数据库的字符集转换为客户的字符集，而在修改时会总客户的字符集转换为数据库的字符集。NCLOB：这是另一种类型的LOB。存储在这一列中的数据所采用的字符集是数据库的国家字符集
2014-12-18 14:02:22
1059
转载 Oracle实例和Oracle数据库(Oracle体系结构)
对于初接触Oracle 数据库的人来讲，很容易混淆的两个概念即是Oracle 实例和Oracle 数据库。这两概念不同于SQL sever下的实例与数据库，当然也有些相似之处。只是在SQL server我们根本不需要花费太多的精力去搞清SQL实例和数据库，因为它简单易于理解。下面简要说明一下SQL实例、数据库，更多的是讲述Oracle下的实例及数据库。 一、SQL server
2014-11-27 10:27:24
408
面向微博用户的标签自动生成技术研究
2018-03-12
决战大数据
2018-03-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人