大数据
文章平均质量分 70
feng1456
热爱技术,勤于学习,乐于分享!
展开
-
数据库基础知识回顾
1.数据库基础知识1.1 数据库索引索引是对数据库表中一列或多列的值进行排序的一种结构,使用索引可快速访问数据库表中的特定信息。数据库索引好比是一本书前面的目录,能加快数据库的查询速度。索引分为聚簇索引和非聚簇索引两种,聚簇索引 是按照数据存放的物理位置为顺序的,而非聚簇索引就不一样了;聚簇索引能提高多行检索的速度,而非聚簇索引对于单行的检索很快。例如这样一个查询:select * from table1 where id=10000。如果没有索引,必须遍历整个表,直到ID等于10000的这一行被找原创 2022-05-20 23:10:13 · 330 阅读 · 0 评论 -
大数据分析工具-Splunk介绍
splunk是一家专门做大数据分析的公司,2013年,splunk在大数据行业排名第4.splunk是该公司的核心产品,大致分为Splunk-Enterprise,Splunk-Cloud,Splunk-Light几个版本。该产品的核心功能是基于非结构化数据的实时分析,主要是日志的分析,并且提供了一系列的App帮助用户做数据导入,针对数据的ETL等等。 splunk官网:http:原创 2015-04-30 15:50:14 · 9191 阅读 · 0 评论 -
pySphere 管理 VCenter
VMWare 的核心VCenter提供了针对Python的开发接口-pySphere.由于Python能够在Windows/Linux平台良好运行,所以选择Python能够实现更多的平台适应性。上一篇讲过如何使用PowerShell管理VCenter,其实使用Python来管理的具体做法也是大同小异,尤其体现在函数调用上。 需要说明的是: 1.使用pySphere必原创 2015-07-24 10:56:15 · 8878 阅读 · 2 评论 -
Cloud Design Pattern - Pipes and Filters Pattern(管道及过滤器模式)
1.前言上一篇我们讨论了云计算设计模式之物化视图模式,介绍了如何构建视图来展示业务数据当前的状态,尤其是在事件溯源模式下,如何提升查询性能。这一篇,我们讨论下多任务处理的应用中,如何提升性能,复用性及扩展性。2.概念了解ASP.NET MVC中的Filter的读者都知道,Filter是一种过滤器,比如做请求的认证,参数的校验等等,上一个filter的逻辑执行完之后,下一个filter接原创 2015-11-13 10:12:05 · 2023 阅读 · 0 评论 -
Scala 基础入门教程
1.前言最近在参加Hadoop和Spark培训,需要使用Scala,自学了一下作为入门,这里作一个记录。2.下载1) 在scala官网下载,地址: http://www.scala-lang.org/2) 下载IDE,地址: http://scala-ide.org/3)配置环境变量SCALA_HOME:C:\Program Files (x86)\scalaPath:C:\Program Fil原创 2016-03-16 16:14:01 · 16432 阅读 · 1 评论 -
Hadoop 核心概念解析
Hadoop 权威指南读书笔记 - 入门前言在大学里曾经使用过Nutch,实现了一个简单的搜索引擎。工作之后,公司里有同事使用Lucene来做站内搜索。这些年伴随着大数据的兴起,Hadoop已经成为了静态数据处理的标准,号称性能更优且可以处理 流式数据的Spark也发展得如火如荼。记得那时候搜索引擎还是一个高端的技术,是一种非常神秘的存在,能够从纷繁复杂的数据海洋中精确地找到用户想要的信息,这确实原创 2016-10-16 07:56:05 · 7338 阅读 · 1 评论