自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(75)
  • 收藏
  • 关注

转载 【转】JVM介绍

1. 什么是JVM?JVM是Java Virtual Machine(Java虚拟机)的缩写,JVM是一种用于计算设备的规范,它是一个虚构出来的计算机,是通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java虚拟机包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域。 JVM屏蔽了与具体操作系统平台相关的信息,使Java程序只需生成在Java虚拟机上运行的目标代码(字节码),就可以在多种平台上不加修改地运行。JVM在执行字节码时,实际上最终还是把字节码解释成具体平台上的机器指令

2022-05-13 19:12:14 440

转载 不敢乱敲了,5个And. 就能让Google Docs崩溃

Bug千千万,造成Bug的原因也千奇百怪。不久前就有人发现在Google Docs中包含And. And. And. And. And. 会使其崩溃。另外,他还发现这个Bug还只能在and都大写时才会出现,他尝试了"and. and. And. and. And."就没问题。谷歌可能也是“一脸懵”,没有想到这种写法会出现Bug,不过谷歌很快就回复已经修复了这个问题。图源谷歌造成Bug的奇葩写法还有网友说在Firefox 99.0.1中输入 “And. And. And. And. And.”,然后

2022-05-12 17:50:05 376

转载 无密码认证时代将要到来

在这个互联网飞速发展的时代,越来越多的网站、软件、技术的出现,为我们的带来便利的同时,也给我们增加了一些“小烦恼”。无论是注册网页还是登录APP,大多都依赖密码认证。对于用户来说,管理这些密码非常的头疼,如果使用单一的密码非常的不安全,如果使用不同的密码又很费脑细胞。这不,2022年5月5日,苹果、谷歌和微软宣布,计划扩展对FIDO联盟和万维网联盟创建的免密码登录通用标准的支持。推出的新功能将允许网站和APP在各种设备与平台上为用户提供统一、安全、便捷的免密登录方式。依赖密码认证的问题早已有很多科技公司

2022-05-10 18:01:27 607

转载 Fedora项目负责人现身说法Linux 的致命弱点

Fedora项目于2003年成立,由红帽公司赞助,以统筹Fedora Linux操作系统开发的社区。该项目不仅包含红帽公司的员工,还有来自世界各地的社区成员,他们占据总贡献者数的75%。Fedora推崇自由软件理念,致力于为硬件、云端服务以及容器构建一个创新、自由、开源的平台。长时间以来,它都是最受欢迎的Linux发行版之一。现任Fedora项目负责人Matthew Miller于2012年加入红帽公司的平台架构师团队,主要负责Fedora云。他是Fedora Legacy项目的早期贡献者,同时还在大学

2022-05-09 17:13:07 181

转载 详解 Java 17 中新推出的密封类

Java 17推出的新特性Sealed Classes经历了2个Preview版本(JDK 15中的JEP 360、JDK 16中的JEP 397),最终定稿于JDK 17中的JEP 409。Sealed Classes有两种主流翻译:密封类、封闭类。个人喜欢前者多一些,所以在本文中都称为密封类。其实Sealed Classes的其他许多语言中并不是什么新鲜事物,C#、Scala等高级语言中都有类似的名称,但意义和作用各不相同。下面就来一起认识一下Java 17中的Sealed Classes。密封类的

2022-05-06 18:12:29 144

转载 Redis和MySQL如何保持数据一致性

Redis和MySQL如何保持数据一致性?在高并发的场景下,大量的请求直接访问Mysql很容易造成性能问题。所以,我们都会用Redis来做数据的缓存,削减对数据库的请求。但是,Mysql和Redis是两种不同的数据库,如何保证不同数据库之间数据的一致性就非常关键了。1、导致数据不一致的原因1、在高并发的业务场景下,数据库大多数情况都是用户并发访问最薄弱的环节。2、所以,就需要使用redis做一个缓冲操作,让请求先访问到redis,而不是直接访问MySQL等数据库。3、读取缓存步骤一般没有什么

2022-05-05 18:58:57 9019

转载 (转)440 亿美元成交,Twitter “卖身”马斯克

从首次公开宣布成为 Twitter 最大股东,到转身让 Twitter 同意自己的收购方案,马斯克的「步步为营」,也只用了 20 天的时间。当地时间 4 月 25 日,Twitter 公司宣布,其已经与马斯克达成最终协议,同意马斯克以每股 54.2 美元现金全资收购 Twitter,交易总值达 440 亿美元。Twitter 的私有化也进一步成为可能。图源:美通社因此消息而停牌后的 Twitter,在当日收盘时股价应声上涨 5.64%。马斯克收购 Twitter对此,马斯克非常开心地..

2022-05-04 17:29:00 361

转载 GitHub 弃用 git.io

近日,GitHub 发布了一则《弃用 Git.io》的公告。在公告中,GitHub 宣布将于 2022 年 4 月 29 日起关闭其缩址服务,即 Git.io 上的所有链接将停止重定向。同时,GitHub 呼吁开发者们「立即更新任何使用 git.io URL 服务的现有链接」。Git.io 服务Git.io 是 GitHub 在 2011 年创建的 URL 短网址服务,用于重定向到 github.com 和 github.io 等 GitHub 域,其亮点是可以生成一个随机的短链接,同时也支持自定义

2022-05-03 17:39:21 1094

转载 为啥程序会有bug?

这是一篇半娱乐性的吐槽文章,权当给广大技术人员解解闷:)。哈哈哈,然后我要开始讲一个经常在发生的事实了。(程序员们可能会感到一些不适)99.999999999%做技术的都会被问到或者被吐槽到:“你的程序怎么又出bug了!”▲图片来源于网络,版权归原作者所有反正,我作为程序员的内心世界是:如同一万只草泥马飞奔而过,难以压抑内心的激动,每次都差点忍不住想说“你写篇几百字的作文还有错别字呢,我码个几万行的代码还不允许出错了?“可能同样是做技术的你此时在不断点

2022-05-02 18:00:52 686

转载 (转载)历史——AMD 成立;第一个 BASIC 程序跑通;世界上第一封垃圾邮件

透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。今天是 2022 年 5 月 1 日,国际劳动节。在 1958 年的今天,中央电视台的前身北京电视台成立。中央电视台是国内最早成立和最大的电视传媒,收视率在全国领先,1958 年 9 月 2 日正式播出。1973 年开始采用 PAL-D 制式播出彩色节目。1978 年 5 月 1 日,中央电视台改为现名,英文简称 CCTV。回顾科技历史上的 5 月 1 日,这一天都发生过哪些关键事件呢?1964 年 5 月 1 日:第一个 BASIC 程序跑

2022-05-01 18:23:59 518

转载 (转)Java 8被抛弃,甲骨文份额萎缩超一半,2022年Java生态报告出炉

近日,知名科技公司New Relic(总部位于美国旧金山的SaaS服务提供商)发布了《2022年Java生态系统状况报告》,旨在揭露当下Java生态系统现状。报告称,虽然现代规模庞大的软件业中不乏可供选择的编程语言,但Java还是凭借它独立于平台、提供成千上万可支持的库等优点,广受软件开发人员的欢迎。所以,几乎每一个主要的行业和经济部门都可见Java的身影。2020年3月,New Relic基于数百万个提供性能数据应用程序中收集到的数据,发布了首个《Java生态系统状况报告》。而随着自Java 11

2022-04-30 17:45:05 517

转载 如何让Join跑的更快?

JOIN 一直是数据库性能优化的老大难问题,本来挺快的查询,一旦涉及了几个 JOIN,性能就会陡降。而且,参与 JOIN 的表越大越多,性能就越难提上来。其实,让 JOIN 跑得快的关键是要对 JOIN 分类,分类之后,就能利用各种类型 JOIN 的特征来做性能优化了。JOIN 分类有 SQL 开发经验的同学都知道,绝大多数 JOIN 都是等值 JOIN,也就是关联条件为等式的 JOIN。非等值 JOIN 要少见得多,而且多数情况也可以转换成等值 JOIN 来处理,所以我们可以只讨论等值 JOI

2022-04-29 18:40:18 193

转载 新版 Java 惊现“年度加密漏洞”,网友:还好我只用 Java 8

Java 作为当前最流行的编程语言之一,常被用于企业级应用开发中。近日,安全公司 ForgeRock 的研究员 Neil Madden 发现在 Java 15、16、17、18 版本的 ECDSA(椭圆曲线数字签名算法)签名验证中存在一个严重漏洞,黑客可以通过该漏洞轻松地伪造 TSL 证书和签名、双因素身份验证消息等,以及对文件和其他数据进行数字签名。对此,Neil Madden 甚至将该漏洞比作科幻剧《神秘博士》中经常出现的空白纸:《神秘博士》中有一个反复出现的情节装置,即医生通过出示一张实际

2022-04-28 21:12:25 195

转载 JVM的类加载过程

JVM 的类加载阶段JVM的类加载分为五个阶段:1.加载:被虚拟机读入内存2.验证:验证Class字节流的数据是否遵守JVM的规定3.准备:正式为类变量(静态变量)分配内存并设置初始值,并非代码中设置的值4.解析:将常量池中的符号引用解析为直接引用5.初始化:真正执行类中定义的java代码加载指 JVM 读取 class 文件,并且根据 Class 文件描述创建 java.lang.Class 对象的过程。类加载过程主要包含将 Class 文件读取到运行时...

2022-04-27 16:19:43 1469 2

转载 (转载)历史——验证码的发明者诞生;切尔诺贝利病毒爆发;诺基亚收购 Withings

透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。今天是 2022 年 4 月 26 日,在 2017 年的今天,中国首艘国产 001A 型航空母舰在大连完成了下水,从开工到下水,历时 3 年多时间。回首过去,眺望未来,在科技历史上的每个 4 月 26 日里,还发生过哪些影响深远的关键事件呢?1938 年 4 月 26 日:编程校验领域图灵奖得主 Manuel Blum 出生曼纽尔·布卢姆(Manuel Blum)出生于 1938 年 4 月 26 日,他是委内瑞拉的计算机科学家、卡内基

2022-04-26 18:34:36 444

转载 什么是OLAP?

1.1、OLAP 简介OLAP 是在线分析处理,顾名思义就是OLAP是用于数据分析的;因此,它使我们能够同时分析来自多个数据库系统的信息。换句话说,我们可以说它是一种计算方法,可以让用户轻松提取所需的数据并查询数据,以便从不同的角度进行分析。它基本上是基于庞大的数据,称为数据仓库;它从数据仓库中收集所需的数据并执行业务所需的分析,以在业务中做出一些决策,以提高利润、改善销售、改善品牌、改善营销等等。因此,它在商业智能中用于趋势分析、销售预测、财务报告、计划目的、预算等方面的查询辅助。1.2、

2022-04-25 15:39:07 16302

转载 hive日期函数

1、hive取得当前日期时间:-- 1.1) 取得当前日期:select current_date();-- 1.2) 取得当前日期时间:select current_timestamp();原文转自:hive日期函数 - 九命猫幺 - 博客园 (cnblogs.com)https://www.cnblogs.com/yongestcat/p/15655580.html...

2022-04-24 18:34:06 545

转载 (转载)历史——YouTube 上传第一个视频;网易云音乐正式上线;数字音频播放器的发明者出生

透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。今天是 2022 年 4 月 23 日,世界读书日。在 1564 年的这一天,全世界最卓越的文学家之一莎士比亚出生;1616 年的这一天,莎士比亚与西班牙最伟大的作家塞万提斯辞世。还有其他一些伟大作家的生卒日也在这一天,如诺贝尔文学奖得主拉克斯内斯、俄国作家纳博科夫。1995 年,联合国教科文组织规定 4 月 23 日为世界图书与版权日,简称“世界读书日”。回顾计算机历史上的 4 月 23 日,这一天又发生过哪些关键事件呢?1956 年 4

2022-04-23 18:25:14 714

转载 游戏玩家都不爱 Windows 11?网友:没必要,Windows 10 足矣

尽管 Windows 11 的问世伴随着一系列质疑,但今年年初微软官方曾声称:“用户升级 Windows 11 的速度是当年升级 Windows 10 的两倍。”当时许多人感慨:这就是无法逃避的“真香”定理吧!可事实证明,Windows 11 似乎不如微软所说的那般受欢迎:前脚 AdDuplex 刚宣布目前 Windows 11 增长停滞,近来 Steam 硬件和软件调查数据显示,游戏玩家似乎也不那么待见 Windows 11。1.Windows 10 依旧是主导一直以来,Steam 每个月都会

2022-04-22 17:39:24 501

转载 Java之父呼吁大家弃用Java 8

你知道 Java 的最新版本号是多少吗?在“你发任你发,我用 Java 8 ”这一口号下,不少人几乎不再关注其它版本的更新情况。而目前的 JDK 最新版本为18,最新的 LTS 版本为 JDK 17。4月20日,Java之父James Gosling 发推文呼吁大家升级 JDK 17,他在推文中表示:对于还停留在 Java 8 开发者来说,目前发布的最新Amazon Corretto 8版本包含了所有最新的更新的 CVE 防御。请大家尽快弃用 Java 8,升级到 JDK 17 LTS,该版本是一次

2022-04-21 17:34:45 324

转载 (转载)历史——中国接入国际互联网;戴尔登顶 PC 市场;计算机先驱诞生日

透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。今天是 2022 年 4 月 20 日,在 2005 年的今天,CNET 网络公司宣布以 1100 万美元现金收购 PCHome 公司。根据当时的协议,PCHome 创始人将保留 10%的少数股东权益。2004 年,CENT 曾收购了中关村在线和蜂鸟社区网站。CNET 当时表示,收购 PCHome 将大大增加该公司在中国的用户数量,新增用户数量将与中关村在线和蜂鸟社区网站的合计数量相当。回顾计算机历史上的 4 月 20 日,这一天的互联网上都发生

2022-04-20 17:50:35 338

转载 (转载)历史——摩尔定律被提出;微软发布 Pocket PC;第一个 FORTRAN 程序开始运行

透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。今天是 2022 年 4 月 19 日,在 1918 年的今天,克利福德·贝里(Clifford Berry)出生。他是世界上第一台电子数字计算设备 Atanasoff-Berry 计算机的共同创造者,是阿塔纳索夫的学生;贝里的心血后来被剽窃,成就也被历史所掩埋,最终因怀才不遇而结束了自己的生命,逝世时仅 45 岁。回顾计算机历史上的 4 月 19 日,这一天还发生过哪些关键事件呢?1931 年 4 月 19 日:编程语言研究领域先驱 And

2022-04-19 18:22:42 160

转载 (转载)历史——第一款交互式电子游戏;IBM 率先研发兆位芯片;硬件公司 Roland 成立

透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。今天是 2022 年 4 月 18 日,在 1955 年的今天,著名物理学家爱因斯坦在美国新泽西州的普林斯顿逝世。爱因斯坦于 1905 年获得物理学博士学位,同年发表狭义相对论;1915 年发表广义相对论;1933 年受德国反犹主义狂潮迫害而离开祖国。爱因斯坦生前坚信,“人类所固有的兄弟般的情谊和每一个人的特性。可是如果有人让我证明这一点,我做不到。同样,人的头脑里产生了更高深的理解,却无从证明它的产生过程。所有伟大的发现都包含着这样的一次飞跃。

2022-04-18 16:07:28 474

转载 Impala的使用

什么是Impala用来处理存储在Hadoop集群中大量数据的大规模并行处理的sql查询引擎,它是由C++和Java编写的开源软件,它提供了访问Hadoop中分布式文件系统中的数据的最快的方法。Impalade优点1.使用Impala,与其他SQL引擎(如Hive)相比,用户可以使用SQL查询以更快的方式与HDFS或HBase进行通信。2.Impala将相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue Beeswax)用作Apache Hive,为面向批量或实时查

2022-04-17 17:43:49 561

转载 实时流处理与分布式存储过程中对文件的操作

引入Java NIO 监控文件其实jdk7以上版本就有一个比较不错的选择,那就是nio包里的WatchService监控器,我觉得它有两方面的优点,其一就是由操作系统的信号通知机制,当文件目录中出现变化就发信号给应用层监控器,那么这种由操作系统主动通知的效率就远好于应用程序对文件的反复轮巡,而且不占用过多系统资源;其二编程模型并不采用观察者模式注册监听器的方案,而是将多线程问题隐藏起来,客户端对api采取循环阻塞的直观调用,这就非常有利于嵌入到各种运行容器当中去执行文件采集监控。另外监测文件变化后按

2022-04-16 18:01:24 106

转载 (转载)历史——4 月 12 日:Google 中文名称谷歌发布;Fire TV 问世;登上太空的计算器

透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。今天是 2022 年 4 月 12 日,每年的这一天是世界航天日,全名载人空间飞行国际日;在 1961 年的 4 月 12 日,苏联空军飞行员尤里·加加林便乘坐“东方一号”宇宙飞船从拜科努尔航天发射场起飞,完成了世界上首次载人航天飞行。此外,在 2017 年的今天,我国第一颗互联网卫星— —实践十三号在西昌卫星发射中心由长征三号乙型运载火箭成功发射,标志着我国卫星互联网时代的开启。从浩瀚的星空回到承载了无数历史的大地上,回顾计算机历史的 4 月

2022-04-15 19:20:48 305

转载 (资讯)历史——4 月 10 日:Github 诞生;人类第一张黑洞照片;计算机延误航天飞机

透过「历史上的今天」,从过去看未来,从现在亦可以改变未来。今天是 2022 年 4 月 10 日,在 2007 年的今天,九城出资 2700 万美元闪电收购雅蜂网,当时雅蜂网上线时间还不到一年。九城从 2006 年起将电子商务领域作为重点投资领域,在 2006 年推出国际贸易 B2B 平台沱沱网后,其互联网战略逐渐浮出水面;这次合作改变了传统 B2B 国际业务形式,首次使用“全面质量采购”为规则,推出了国内第一个纯英文的 B2B 垂直搜索平台。回顾互联网发展史,历史上的 4 月 10 日还发生过哪些关键

2022-04-14 17:57:21 477

转载 (资讯)华为员工利用Bug越权访问机密卖给第三方,获利1.6万元,被判有期徒刑一年

在数字化浪潮中,企业、员工的管理工作也朝着智能化、云化等方向发展。对于上班族来说,入职第一天基本基本穿梭在各个权限的申请与开放之中。由于各个部门的分工不同,所以每个岗位都会配有相应级别的系统权限,不同员工的系统权限也有所差异。对于不属于自己岗位职责范围内的事,员工通常没有参与权和知情权,这就要求企业对员工的系统权限进行严格管理。2022年2月,中国裁决文书网发布的一则刑事宣判便与此相关:在华为任职的易某在调离岗位7年后,还没有将自己之前拥有的相关系统权限清除。不仅如此,他还在此期间多次利用权限查看系

2022-04-13 18:04:45 276

转载 (资讯)对话阿里巴巴副总裁贾扬清:追求大模型,并不是一件坏事

人工智能的变革,不仅引领了新数字化时代的思想潮流,也影响着成千上万程序员的技术人生,这其中也包含了现任阿里巴巴副总裁、阿里云计算平台事业部高级研究员、达摩院AI平台负责人的贾扬清。贾扬清不认为自己是一个高智商的人,只是因为兴趣使然。他没觉得自己是一个勤快的人,但是该干的活一定会干。现在的他也不太想提及过去的种种成就,所谓君子素其位而行,不愿乎其外,也因凡是过往,皆为序章,对于他而言,更想把生命浪费在有意思的事情上,譬如探索人工智能大模型落地、人工智能如何工程化等问题。因此,当打开互联网时,贾扬清的身

2022-04-12 18:14:25 884

转载 (资讯)为什么人们认为java很复杂

本文由CSDN翻译,转载需注明来源出处。那些被Java复杂性吓退的开发者们_CSDN资讯的博客-CSDN博客https://blog.csdn.net/csdnnews/article/details/124019874?spm=1000.2115.3001.5927译者 | 章雨铭 责编 | 屠敏出品 | CSDN(ID:CSDNnews)以下为译文:我担任过架构师、技术负责人以及高级开发工程师,在我的职业生涯中,Java是我主要使用的编程语言。近年来,我也有时会使用Go、Node.js

2022-04-11 17:12:23 1173

转载 Java和Scala的区别

1、什么是ScalaScala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序。2、为什么要学Scala1.优雅:这是框架设计师第一个要考虑的问题,框架的用户是应用开发程序员,API是否优雅直接影响用户体验。2.速度快:Scala语言表达能力强,一行代码抵得上Java多行,开发速度快;Scala是静态编译的,所以和JRuby,Groovy比起来速度会快很多。3. 能融合到Hadoop生态圈

2022-04-10 17:33:33 3787

转载 Kafka简介

Kafka作为一种消息中间件,它是一种分布式的,基于发布/订阅的消息系统。Kafka最初是由LinkedIn开发,用它来跟踪活动数据和运营指标。Twitter把它作为Storm的一部分来作为流处理的基础。Square把Kafka当作总线,将所有系统事件(日志,自定义事件,指标等)传输到各个Square数据中心,或者输出到Splunk,或者应用于Graphite(仪表板),或者实现Esper-like/ CEP警报系统。Spotify,Uber,Tumbler,Goldman Sachs,PayPal,Bo

2022-04-09 17:44:06 271

转载 Clickhouse中对表的基本操作(增加、删除、修改列等)

1.CK中添加列:ALTER TABLE 表名称 ON 集群名称 ADD COLUMN 列名称 类型 DEFAULT 注解eg:ALTER TABLE 表名称 ON 集群名称 ADD COLUMN lvl Int32 DEFAULT 'lvl'2.CK中修改注释:alter table 表名称 ON 集群名称 COMMENT COLUMN 列名称 注解;alter table adm_sch_d05_content_live_service_di_local ON 集群名称 COMMENT COLUMN

2022-04-08 17:44:42 8707 1

转载 Hive SQL vs SQL 区别

1、数据更新:HQL:不建议,因为Hive定位是数据仓库 ,主要应用是数据的分析,不是查询SQL:支持,增删改查为什么说hive是离线的,因为他的延迟高2、UDF,UDAF,UDTFUDF:就是一个一对一关系,一进一出。如:①字段的格式处理②直接用于select语句,常见于大小写转换 。③Hive自带的udf:如lower()UDAF:多对一情况,常见于wordcount,group by 阶段UDTF:一对多3、读时模式和写时模式json:{key:value,key1:v.

2022-04-07 17:57:14 1478

转载 Spark与Flink对比

Spark缺点无论是 Spark Streaming还是 Structured Streaming,Spark流处理的实时性还不够,所以无法用在一些对实时性要求很高的流处理场景中。这是因为 Spark的流处理是基于所谓微批处理( Micro- batch processing)的思想,即它把流处理看作是批处理的一种特殊形式,每次接收到一个时间间隔的数据才会去处理,所以天生很难在实时性上有所提升。虽然在 Spark2.3中提出了连续处理模型( Continuous Processing Model)

2022-04-06 17:41:40 11751

转载 分布式文件系统(HDFS产生背景及定义 HDFS优缺点 HDFS体系架构 HDFS文件块大小)

HDFS概述HDFS产生背景及定义分布式文件系统(Distributed File System,DFS)是指文件系统管理的物理存储资源不一定直接连 接在本地节点上,而是通过计算机网络与节点(可简单的理解为一台计算机)相连;或是若干不同的逻 辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。DFS为分布在网络上任意位置的资源 提供一个逻辑上的树形文件系统结构,从而使用户访问分布在网络上的共享文件更加简便。单独的 DFS 共享文件夹的作用是相对于通过网络上的其他共享文件夹的访问点。计算机通

2022-04-05 17:55:58 1882

转载 数据仓库和数据集市详解:ODS、DW、DWD、DWM、DWS、ADS

数据流向应用示例何为数仓DWData warehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于OLAP(on-line Analytical Processing),支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。目前行业比较流行的有:AWS Redshift,Greenplum,Hive等。数据仓库并不是数据的最终目的..

2022-04-04 17:44:10 17089

转载 Scala隐式函数

简介所谓隐式函数指的是那种以implicit关键字声明的带有单个参数的函数。正如它的名称所表达的,这样的函数将会自动应用,将值从一种类型转换为另一种类型。隐式函数的使用需求分析:使用隐式函数解决数据类型的转换问题object ImplicitDemo01 { def main(args: Array[String]): Unit = { // 编写一个隐式函数将Double =》 Int implicit def douToInt(d: Double): Int = {...

2022-04-03 17:59:21 488

转载 ClickHouse简介

什么是ClickHouseClickHouse 是俄罗斯的Yandex(类似于百度等在我们国家的地位)于2016年开源的列式存储数据库(DBMS),主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告(优势:快))。什么是列式存储以下面的表为例:Id Name Age1 张三 182 李四 223 王五 34采用行式存储时,数据在磁盘上的组织结构为:(相同颜色代表一行)好处是想查某个人所有的属性时,可以通过一次磁盘查找加顺序读取就可以。但是当想查所有人的年龄时,

2022-04-02 18:31:49 140

转载 Hive和传统数据库区别总结

1、数据存储位置。Hive是建立在Hadoop之上的,所有的Hive的数据都是存储在HDFS中的。而数据库则可以将数据保存在块设备或本地文件系统中。2、数据格式。Hive中没有定义专门的数据格式,由用户指定,需要指定三个属性:列分隔符,行分隔符,以及读取文件数据的方法。数据库中,存储引擎定义了自己的数据格式。所有数据都会按照一定的组织存储。3、数据更新。Hive的内容是读多写少的,因此,不支持对数据的改写和删除,数据都在加载的时候中确定好的。数据库中的数据通常是需要经常进行修改。4、执行延迟。H

2022-03-31 17:17:07 1142

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除