- 博客(43)
- 收藏
- 关注
RSS订阅原创 完整java开发中JDBC连接数据库代码和步骤
JDBC连接数据库 •创建一个以JDBC连接数据库的程序，包含7个步骤： 1、加载JDBC驱动程序： 在连接数据库之前，首先要加载想要连接的数据库的驱动到JVM（Java虚拟机）， 这通过java.lang.Class类的静态方法forName(String className)实现。 例如： try{...
2017-03-30 10:17:44
88
原创 .gitignore详解
今天讲讲Git中非常重要的一个文件——.gitignore。首先要强调一点，这个文件的完整文件名就是“.gitignore”，注意最前面有个“.”。这样没有扩展名的文件在Windows下不太好创建，这里给出win7的创建方法：创建一个文件，文件名为：“.gitignore.”，注意前后都有一个点。保存之后系统会自动重命名为“.gitignore”。一般来说每个Git项目中都需要一个“...
2017-03-30 09:40:32
98
原创 商业智能软件对比评测： FineBI 和 Tableau
FineBI和Tableau是比较好的自助式商业智能软件，功能都很强大，是企业数据可视化不可或缺的利器，但两款产品还是有非常大的区别的，例如Tableau的功能全面且深入，更适合专业的数据分析人员，而FineBI则是面向普通的业务人员，数据分析过程更人性化，更简单和易用，并为企业提供了全面的数据管理和用户管理策略。下面对这两款商业智能软件做个对比评测。一、产品理念FineBI是帆软公司推出的自助...
2017-03-30 00:15:32
415
原创 dos命令ping与telnet有什么区别
ping 可以测试到目标机器的连通性。。Ping域名还可以得出解析IP。。评估网络质量。telnet 用于远程管理连接主机。。同时也是测试目标机器的TCP端口是否开放：如 telnet IP地址 3389 是用来测试目标机器的3389端口是否开放，如果连接失败，可能是防火墙屏蔽，也可能是目标机器没有启用相关远程桌面服务(windows)，或者修改了默认占用3389端口。用telnet和ping结合...
2017-03-29 10:03:41
134
原创 Gitolite轻松部署/管理git server
对于今天越来越受欢迎的Git，相信做开发的朋友都基本有所耳闻。它最大的便利就是分布式的开发库，让使用git作为源码管理库的开发者可以在本地提交代码的修改而不用提交到远程的库，同时需要和团队协作、同步代码时，也仅仅是多一条指令而已。如果你想了解git的全貌，可以看《Pro git》，他有中文版，貌似没有维护到最近的，需要的可以google it。Git 使用者的日常流程：1、从git se...
2017-03-28 20:50:39
199
原创 硬盘，内存 的速度
PCI ssd 读：2800MB/S，写1400MB/S，PCI m2通道口速度1.2G/S,内存ddr3,64位 理论速度10.664GB/S,实际在7-9GB/Sssd： SATA口速度550MB/S机械硬盘：60-80MB/s,蓝盘,黑盘100MB/s
2017-03-28 19:25:03
269
原创 activeMQ启动失败61616端口被占用问题
通过netstat -aon | findstr "61616" 查找端口被谁占用了，可是一直没有找到，google说是 Internet Connection Sharing (ICS)服务占用，kill了这个服务，启动Ok了
2017-03-27 23:19:21
1035
原创 clouder manager端口7180没有打开为什么
修改 clouder-manager.repo新建内容我们需要把baseUrl，gpgkey修改为本地服务器路径确保文件可以被编辑Chmod 755 /etc/yum.repos.d/clouder-manager.repo Vi /etc/yum.repos.d/clouder-manager.repo...
2017-03-27 10:56:44
3027
1
原创 Impala与Hive的比较
1. Impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS或...
2017-03-19 13:09:50
117
原创 Cloudera Manager、CDH零基础入门、线路指导
问题导读：1.什么是cloudera CM 、CDH?2.CDH、CM有哪些版本？3.CDH、CM有哪些安装方式？4.CDH如何开发？<ignore_js_op> 我们知道cloudera CDH 是为简化hadoop的安装，也对对hadoop做了一些封装。那么我们就像尝试学习cloudera。 cloudera本质hadoop的封装，那么学起来，应该不难。不就是下载下来，然后自动安...
2017-03-19 12:53:40
494
原创 Impala是什么
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。 优点Impala不需要把中间结果写入磁盘...
2017-03-19 12:43:03
381
原创 DB、ETL、DW、OLAP、DM、BI关系结构图
DB、ETL、DW、OLAP、DM、BI关系结构图在此大概用口水话简单叙述一下他们几个概念：（1）DB/Database/数据库——这里一般指的就是OLTP数据库，在线事物数据库，用来支持生产的，比如超市的买卖系统。DB保留的是数据信息的最新状态，只有一个状态！比如，每天早上起床洗脸照镜子，看到的就是当时的状态，至于之前的每天的状态，不会出现的你的眼前，这个眼前就是db。（...
2017-03-17 10:10:43
139
原创 pgAdminIII使用图解
pgAdmin III简介要打开一个到服务的连接，在树中选择所需的服务，并双击它，或使用“工具”菜单上的连接即可。一．主窗体 在主窗口中，显示数据库的结构。您可以创建新的对象，删除和编辑现有的对象，如果你使用的是当前连接到数据库用户的权限，在主窗口的左侧显示所有服务器，以及它们所包含的对象树。 右上方显示，目前在树中选定的对象的详细信息。右下方包含一个SQL脚本。 二...
2017-03-15 17:43:16
704
原创 常用的命令
1. ALTER TABLE table RENAME TO newtable2. ALTER TABLE hp_kk OWNER TO test; COMMENT ON TABLE hp_kk IS '卡口信息';
2017-03-14 18:37:06
70
原创 微服务架构的优势与不足
微服务正在博客、社交媒体讨论组和会议演讲中获得越来越多的关注，在Gartner的2014 Hype Cycle上它的排名非常靠前。同时，软件社区中也有不少持怀疑论者，认为微服务不是什么新东西。Naysayers认为这就是SOA架构的重新包装。然而，尽管存在着不同的争论，微服务架构模式却正在为敏捷部署以及复杂企业应用实施提供巨大的帮助。 这篇博客是关于如何设计、开发和部署微服务的七篇系列文...
2017-03-13 10:45:56
77
原创 数据仓库
数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据...
2017-03-11 15:48:36
823
原创 优化Mysql数据库的8个方法
1、创建索引对于查询占主要的应用来说，索引显得尤为重要。很多时候性能问题很简单的就是因为我们忘了添加索引而造成的，或者说没有添加更为有效的索引导致。如果不加索引的话，那么查找任何哪怕只是一条特定的数据都会进行一次全表扫描，如果一张表的数据量很大而符合条件的结果又很少，那么不加索引会引起致命的性能下降。但是也不是什么情况都非得建索引不可，比如性别可能就只有两个值，建索引不仅没什么优势，还会影响到更...
2017-03-11 15:33:18
60
原创 JavaScript面试题
1、使用 typeof bar === "object" 判断 bar 是不是一个对象有神马潜在的弊端？如何避免这种弊端？使用 typeof 的弊端是显而易见的(这种弊端同使用 instanceof)：?123456let obj = {};let arr = []; console.log(typeof obj =...
2017-03-11 13:56:04
246
原创 java工程师面试题
1. hibernate中离线查询去除重复项怎么加条件？？dc.setResultTransformer(Criteria.DISTINCT_ROOT_ENTITY); 2. http协议及端口,smtp协议及端口http：超文本传输协议端口 80 smtp：简单邮件传输协议 端口25 3. 编写程序，完成文件复制功能 4. Servlet创建过...
2017-03-11 13:55:34
1920
原创 R、Python、Scala和Java，到底该使用哪一种大数据编程语言
你有一个大数据项目，你知道问题领域（problem domain），也知道使用什么基础设施，甚至可能已决定使用哪种框架来处理所有这些数据，但是有一个决定迟迟未能做出：我该选择哪种语言？（或者可能更有针对性的问题是，我该迫使我的所有开发人员和数据科学家非要用哪种语言？）这个问题不会推迟太久，迟早要定夺。 当然，没有什么阻止得了你使用其他机制（比如XSLT转换）来处理大数据工作。但通常来说，如...
2017-03-11 12:10:05
194
原创 数据仓库中的Inmon与Kimball架构之争
于数据仓库体系结构的最佳问题，始终存在许多不同的看法，甚至有人把Inmon和Kimball之争称之为数据仓库界的“宗教战争”，那么本文就通过对两位提倡的数据仓库体系和市场流行的另一种体系做简单描述和比较，不是为了下定义那个好，那个不好，而是让初学者更明白两位数据仓库鼻祖对数据仓库体系的见解而已。 首先，我们谈Inmon的企业信息化工厂。 2000年5月，W.H.Inmon在DM...
2017-03-10 09:37:16
124
原创 分布式配置服务etcd VS 分布式协调服务zookeeper
etcd是一个高可用的键值存储系统，主要用于共享配置和服务发现。etcd是由CoreOS开发并维护的，灵感来自于 ZooKeeper 和 Doozer，它使用Go语言编写，并通过Raft一致性算法处理日志复制以保证强一致性。Raft是一个来自Stanford的新的一致性算法，适用于分布式系统的日志复制，Raft通过选举的方式来实现一致性，在Raft中，任何一个节点都可能成为Leader。Goo...
2017-03-10 09:37:02
319
原创 react-navite 开发工具
接触一门新的语言，第一是看开发文档，第二自然就是开发工具啦。但是RN是facebook开源的一个框架，要用什么来编写我们的代码才能觉得爽呢。NO1：当然是目前世界非常流行的脚本编辑器Sublime sublime3我们在开发RN之前需要为sublime加载几个插件。1、package controller操作：使用快捷键 ctrl+` 或者是 View>...
2017-03-10 09:36:48
151
原创 DW与DM
DW组成部分简介DW的组成部分有：针对数据源的分析、数据的ETL、数据的存储结构，元数据管理等。数据源分析主要是分析要抽取哪些数据，如何抽取（全量还是增量）？它的更新周期是怎么样的？它的数据质量如何？确定数据的格式，数据的域。ETLETL之前需要知道以下内容，数据源有哪些系统，各个业务系统的RDBMS是什么？是否存在手工维护的数据？数据抽取分为直...
2017-03-09 15:35:34
196
原创 技术大牛养成指南，一篇不鸡汤的成功学实践
有的人想成为大牛，却不曾为此努力。有的人辛苦耕耘，却收获寥寥。很多时候，你跟成功的差距并不是能力，也不是运气，或许只是正确的方法？这是一篇不鸡汤的成功学指南，如果你相信且愿意坚持尝试，未必帮不到你！ 一碗有勺子的鸡汤我工作已经将近 12 年了（其实 12 年才混到这个地步，天资实在是一般），在华为做了 5 年，在 UC 做了 6 年，现在主要负责阿里游戏的中间件和组件的架构设计和实...
2017-03-09 15:23:53
165
原创 DM与DW、OLAP、CRM、BI的区别和之间的关系
[align=left][b]什么是数据挖掘[/b] [size=16px;][b]数据挖掘相关的[/b][b]10[/b][b]个问题[/b][/size] NO.1 Data Mining 和统计分析有什么不同？ 1.处理大量实际数据更强势，且无须太专业的统计背景去使用Data Mining的工具； 3. 纯就理论的基础点来看，Data Min...
2017-03-09 15:22:05
822
原创 DW,DM,ODS的区别
数据仓库的重要应用是将不同来源的数据和异构数据通过ETL整合在一起，为决策分析提供支撑，若在同一个数据库中分不同用户，此意义不大；假设所有有用户都在一个数据库里，如果因为某个原因数据库重启，那么会影响所有的应用，这违背了 SOA 设计理念中低耦合的思路，当然建在不同的库也是不好的，比如我们要有下钻操作，需要从DW层下钻到ODS层，多个库不方便查询和关联。 在当今这样一个信息技术发展迅速...
2017-03-09 15:14:40
162
原创 安全快速修改Mysql数据库名的5种方法
1. RENAME DATABASE db_name TO new_db_name这个。。这个语法在mysql 5.1.7中被添加进来，到了5.1.23又去掉了。据说有可能丢失数据。还是不要用的好。详见： http://dev.mysql.com/doc/refman/5.1/en/rename-database.html2.如果所有表都是MyISAM类型的话，可以改文件夹的名字关闭mys...
2017-03-09 14:38:20
64
原创 关闭或开启鼠标和键盘的唤醒电脑功能
鼠标和键盘唤醒电脑的功能有些人觉得有用,有些人觉得没用,甚至是烦人,这个看对谁了,萝卜白菜各有所爱.唤醒功能对鼠标来说,就是当系统在待机时,屏幕黑屏了,你点一下鼠标,屏幕又亮了,显示待机画面,键盘也类似,待机时,你敲一下键盘,显示器便重新显示待机画面.百度经验:jingyan.baidu.com方法/步骤 1首先在"计算机"上...
2017-03-08 20:47:37
2306
原创 云技术
云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。 定义编辑云技术（Cloud technology）基于[1] 云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、...
2017-03-08 20:36:19
3084
原创 流式大数据处理的三种框架：Storm，Spark和Samza
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括s...
2017-03-08 20:28:48
99
原创 Scala 简介 优点 及 用途
Scala 是一种有趣的语言。它一方面吸收继承了多种语言中的优秀特性，一方面又没有抛弃 Java 这个强大的平台，它运行在 Java 虚拟机 (Java Virtual Machine) 之上，轻松实现和丰富的 Java 类库互联互通。它既支持面向对象的编程方式，又支持函数式编程。它写出的程序像动态语言一样简洁，但事实上它确是严格意义上的静态语言。Scala 就像一位武林中的集大成者，将过去几十...
2017-03-08 17:16:55
1156
原创 GP和Hadoop各自的优势在哪？
GP是基于关系模式的数据仓库解决方案，在处理结构化数据尤其是关系数据方面有优势，比较适合比如电信、银行这类数据主要以结构化存储的企业或组织；Hadoop是一种分布式开发接口，可以基于hadoop开发处理结构或非结构数据的应用，而且根据调查显示，在互联网领域，95%的数据都是非结构化的，所以比较适合在互联网领域。...
2017-03-07 12:13:13
4385
原创 bootstrap+jq+underscore+ionic+react+angularjs
几年前就有人说javascript是最被低估一种编程语言，自从nodejs出来后，全端(All Stack/Full Stack)概念日渐兴起，现在恐怕没人再敢低估它了。javascrip是一种类C的语言，有C语言基础就能大体理解javascript的代码，但是作为一种脚本语言，javascript的灵活性是C所远远不及的，这也会造成学习上的一些困难，本文主要记录我在学习underscore.j...
2017-03-03 19:21:37
202
原创 Git服务器 及gitolite的搭建及简单操作
环境：Ubuntu server 14.04.1 、Git 1.9.1 gitolite3 对于Git的介绍这里就不介绍，有兴趣的大家可以自己去网上搜搜。下面介绍怎么安装Git服务器gitolite，以及怎么建立仓库、添加用户等操作，本篇文章不会介绍太多的Git本身的命令，因为我自己有些还没玩清楚，等什么时候玩清楚了，会写文章共享出来。 1 搭建ubuntu...
2017-03-03 18:27:21
264
原创 感悟20170302
1.打包jar时，有文件打开被暂用，导致打包不成功2.打jar包时成功，但运行jar时报加载Spring时出错，有可能是meta-inf文件下相应的Spring的信息没有打进去3.面试要说话要认真4.解决疑难问题一定要把当前的环境，所用到的东西理清楚，错误信息也仔细看5.字段中存json数据可以减少表以及表的结构复杂性6.把简历上写的东西要弄透7.通过sql on...
2017-03-02 16:29:14
74
原创 spark与storm的对比
spark与storm的对比对比点StormSpark Streaming实时计算模型纯实时，来一条数据，处理一条数据准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理实时计算延迟度毫秒级秒级吞吐量低高...
2017-03-02 16:15:09
83
原创 数据库的模式
数据库中有三种模式【☆三级体系结构☆】：外模式、概念模式和内模式。 外模式处于用户级，也称为用户视图（VIEW），它最接近用户，是单个用户看到并获准使用的那部分数据的逻辑结构；概念模式是对数据库所有用户的数据的整体逻辑描述，包括逻辑记录类型和记录之间的关系；内模式处于物理级，又称为存储模式。 一般外模式对应于SQL的视图，模式对应于基本表，元组称为“行”，属性称为“列”，内模式对应于存...
2017-03-01 14:43:17
951
原创 Greenplum数据库的dblink功能之搭建
1、什么是dblink dblink是一个PostgreSQL contrib模块,允许对另一个数据库执行查询。 当前PostgreSQL的模型需要用户连接到一个特定的数据库服务器上。因此,它本身是不可能对另一个数据库执行SQL查询。 通常我们不鼓励使用dblink查询远程数据库。 我们总是建议用户使用模式。但有时,这也许还不够。 不管怎样,这篇文章向您展示如何Post...
2017-03-01 14:36:22
849
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人