实时数仓的流批一体 一直没时间来写一下关于实时数仓建设的情况,简单先记录一下。我们在2021年Q1对产品进行了实时能力的构建。主要架构是kafka+flink计算引擎的方式。我们公司的实时计算能力其实yi jing
初识公有云和私有云 最近刚开始接触云,粗浅记录下来自己的学习。第一个问题:什么是云计算?第二个问题:为什么要上云?第三个问题:公有云和私有云有什么区别,应该怎么选?云计算,是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。【百度百科】举例来讲,建立一个超级数据中心,提高算力,达到普通电脑无法企及的每秒10万亿次的运算能力,一般用户在付费后则可通过
浅谈我是如何从简单的系统功能需求书写规范的需求分析说明书 需求分析说明书,即系统详细的开发流程,本文简单谈谈我是怎么写的,由于本人资历尚浅,可能写的也并不规范,当作经验之谈。想要完成一个需求分析说明书,我个人觉得,需要的知识有抽象转实体,实体提取,实体联系,其实就是数据库的知识,此外还有统一建模语言UML,用来构建各种图,还有确定设计模式,使用何种技术栈最能解决这个需求,技术栈就是前后端使用何种语言,若有移动端,API及文档如何编写,服务器使用哪种,文件...
产品需求文档五分钟轻松搞定!这可能史上最全PRD文档模板 为什么写这篇文章?第一:写PMCAFF的PRD文档,大家都是用户,比较好参考与理解,方便大家来找我写的不好的地方。第二:我在自学PRD文档的编写过程中,总是遇到PRD文档里的对应产品总是找不到或是下架的情况,很难找到比较全面以及详细的参考模板,故一气之下撸了一篇,写好分享之。关于这篇文章:1.PRD本来就没有固定的版式,根据团队以及个人的需求有所差别,本篇力求简单,不累述。2....
PowerDesigner逆向导出oracle数据库表结构 在已安装好的oracle client机器上,要用powerdesigner导出数据库表结构,需要完成以下步骤:1. 下载安装PowerDesigner2. 配置ODBC3. powerdesigner使用数据源4. 连接数据源,反向导出数据库表结构具体过程为:1. 安装---忽略2. 配置ODBC打开ODBC 32版本 C:\windows\Syswow64\odbcad32.exe,点击添加配...
网络爬虫(一):爬虫的含义和URL基本构成——(了解) 一、网络爬虫的定义网络爬虫,即Web Spider,把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站,那么网络蜘蛛就可以用这个原理把互联网...
Python 爬虫初学习(一) 2018.1.25决定要开始学习python 爬虫第一步,搭建环境。安装python,有了IDLE这个最基本的解析器。第二步,安装IDE。这里本人安装的是PyCharm。PyCharm社区版,for free,大家可以任取。第三步,安装phantomjs和 Casper,见http://www.cnblogs.com/shaosks/p/6526817.html
区块链(二)——第五次颠覆性的新计算范式 计算范式经历了,大型机--> 个人电脑--> 互联网-->社交网络和移动手机这几个阶段。基于区块链加密协议的网络很可能是新的范式。这个网络世界可以有效的利用区块链科技作为它的经济层,基于此正日益形成一个包括可穿戴设备、物联网传感器、智能手机、平板电脑、笔记本,量化的自我跟踪设备(如Fitbit)、智能家居、智能汽车、智能城市等多种设备的无缝对接的世界,这种区块链能够实现的经济模式不
区块链初探(一) 区块链被认为是比特币醉主要的创新技术,因为它是所有网络上交易的无信任证明机制。区块链允许全球范围内,各方以去中介化,去中心化的形式进行的各种形式的交易。区块链就像在以后的互联网多个基础协议上运行一个全新的应用层,使得互联网能够进行诸如即时支付(通过一种公认的数字算法货币)或执行更复杂的远期金融合约。任何货币、金融合约、数字化或者物理资产都能够通过类区块链系统进行价值交换。what's
软件工程的几个步骤 软件工程一直以来都缺乏一个统一的定义,很多学者、组织机构都分别给出了自己的定义:Boehm:运用现代科学技术知识来设计并构造计算机程序及为开发、运行和维护这些程序所必需的相关文件资料。 IEEE:软件工程是开发、运行、维护和修复软件的系统方法。 Fritz Bauer:建立并使用完善的工程化原则,以较经济的手段获得能在实际机器上有效运行的可靠软件的一系列方法。软件工
HTTP cookies (一) HTTP cookies,通常又称作"cookies",已经存在了很长时间,但是仍旧没有被予以充分的理解。首要的问题是存在了诸多误区,认为cookies是后门程序或病毒,或压根不知道它是如何工作的。第二个问题是对于cookies缺少一个一致性的接口。尽管存在着这些问题,cookies仍旧在web开发中起着如此重要的作用,以至于如果cookie在没有可替代品出现的情况下消失,我们许多喜欢的Web应用
HTTP Cookie 详解二 HTTP Cookie:Cookie通常也叫做网站cookie,浏览器cookie或者http cookie,是保存在用户浏览器端的,并在发出http请求时会默认携带的一段文本片段。它可以用来做用户认证,服务器校验等通过文本数据可以处理的问题。Cookie不是软件,所以它不能被携带病毒,不能执行恶意脚本,不能在用户主机上安装恶意软件。但它们可以被间谍软件用来跟踪用户的浏览行为。所以近年来,
Oracle执行计划不走索引的原因总结 在Oracle数据库操作中,为什么有时一个表的某个字段明明有索引,当观察一些语的执行计划确不走索引呢?如何解决呢?本文我们主要就介绍这部分内容,接下来就让我们一起来了解一下。 不走索引大体有以下几个原因: 你在Instance级别所用的是all_rows的方式 你的表的统计信息(最可能的原因) 你的表很小,上文提到过的,Oracle的优化器认
session和cookie session和cookie是网站浏览中较为常见的两个概念,也是比较难以辨析的两个概念,但它们在点击流及基于用户浏览行为的网站分析中却相当关键。基于网上一些文章和资料的参阅,及作者个人的应用体会,对这两个概念做一个简单的阐述和辨析,希望能与大家共同探讨下。 session和cookie的最大区别在于session是保存在服务端的内存里面,而cookie保存于浏览器或客户端文件里面;ses
Hive和Hbase 初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了,我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂,不要紧糊涂的不止你一个,如某个菜鸟的帖子的疑问,when to use Hbase and when to use Hive?....请教了^_^没关系这里我帮大家理清每个技术的原理和思路。Pig一种操作hadoop的轻量级脚本语言,最初又雅
软件质量管理 前边我们介绍了,面向过程的软件开发过程,从计划到测试的整个过程,但是如何确保软件的质量呢?只要我们的软件质量过关才会得到用户的肯定,所以从质量这个角度看,我们该如何管理呢?这篇博客,总结了软件质量管理的相关知识。 首先,总的了解一下,需要我们知道一些相关概念;然后是我们软件质量该如何保证,有什么措施;再者就是软件的可靠性,即如何测量我们的这款软件的质量好与否;最后
解释型语言与编译型语言的区别 编译型语言在程序执行之前,有一个单独的编译过程,将程序翻译成机器语言,以后执行这个程序的时候,就不用再进行翻译了。解释型语言,是在运行的时候将程序翻译成机器语言,所以运行速度相对于编译型语言要慢。C/C++ 等都是编译型语言,而Java,C#等都是解释型语言。虽然Java程序在运行之前也有一个编译过程,但是并不是将程序编译成机器语言,而是将它编译成字节码(可以理解为一个中间