咕噜大大-CSDN博客

原创中介中心性算法原理与源码解析(Between Centrality)

中介中心性(Between Centrality)，或者叫介数中心性，是基于最短路径对关系图谱中节点的中心性进行测量的典型图论算法。和其它的图论中心性算法一样，中介中心性用来衡量社会关系网络中，个人、企业或者其它的实体在整个网络中的重要程度。例如，在一个洗钱犯罪团伙的交易关系网络中，中介中心性高的账号，有可能是隶属于“庄主”的高风险账号，因为大量的资金都是通过这些账号进行归集或者拆分出去的。又例如，在交通运输领域的运用上，中介中心性不仅可以用于预测交通堵塞情况，也可以用于对城市道路运输效率进行分析。

2023-05-19 17:29:51 5305

原创社区发现算法原理与louvain源码解析

社区切分或者说社区发现，是一类图聚类算法，它主要作用是将图数据划分为不同的社区，社区内的节点都是连接紧密或者相似的，而社区与社区之间的节点连接则是稀疏的或者是社区与社区之间的节点并不相似。社区切分算法目前已经广泛运用在各个领域，例如在金融反欺诈的场景中，社区切分算法可以根据资金交易图谱划分出可疑的欺诈团伙或者洗钱团伙。再就是在营销场景中，社区切分算法可以对不同的人群进行自然分类，帮助业务人员发现不同特性的人群，然后进行精准营销活动的投放。还有在智能运维场景中去发现高风险网络架构等等。

2023-04-04 18:49:40 2830

原创特征向量中心度(eigenvector centrality)算法原理与源码解析

详细解释了特征向量中心度算法背后的数学原理以及代码实现方法。

2023-02-24 16:29:32 8476 3

原创关系网络技术与图数据库技术的发展

关系网络，又称知识图谱或者大规模语义网（下文全部统一为关系网络），是用关系和节点组成的大规模知识表示形式，包含实体（Entity），概念（Concept）及其之间的各种语义关系。关系网络为真实世界的各个业务场景直观地建模，通过不同的知识关联性形成一个网络状的知识结构。形成关系网络的过程就是在建立认知，理解世界，理解领域，理解客观业务事实的过程，并组织成机器易于读取和分析的结构，让机器形成认知能力，去理解这个世界。

2020-03-12 20:14:10 951

原创 Cloudera简介和安装部署概述

最近作者在研究Cloudera，并且在自己的虚拟机集群安装部署成功，所以在此做个分享，帮助大家尽快构建自己的Cloudera环境并运用起来。文章将会对Cloudera以及其安装时涉及到的组件做一个简单的介绍，并把官方文档中介绍的3种安装部署方式做一个概要的说明。

2016-09-06 11:27:10 27823 1

原创 Flume+Spark+Hive+Spark SQL离线分析系统

前段时间把Scala和Spark一起学习了，所以借此机会在这里做个总结，顺便和大家一起分享一下目前最火的分布式计算技术Spark！当然Spark不光是可以做离线计算，还提供了许多功能强大的组件，比如说，Spark Streaming 组件做实时计算，和Kafka等消息系统也有很好的兼容性；Spark Sql，可以让用户通过标准SQL语句操作从不同的数据源中过来的结构化数据；还提供了种类丰富的MLli

2016-07-27 03:36:02 12595 3

原创 Flume+Kafka+Storm+Redis实时分析系统基本架构

今天作者要在这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型。当然这个架构模型只是实时分析技术的一个简单的入门级架构，实际生产环境中的大数据实时分析技术还涉及到很多细节的处理, 比如使用Storm的ACK机制保证数据都能被正确处理, 集群的高可用架构，消费数据时如何处理重复数据或者丢失数据等问题，根据不同的业务场景，对数据的可靠性要求以及系统的复杂度的要求也会不同。这篇文章的目的只是带大家入个门，让大家对实时分析技术有一个简单的认识，并和大家一起做学习交流。

2016-07-24 01:24:08 51916 21

原创 Flume+Hadoop+Hive的离线分析系统基本架构

最近在学习大数据的离线分析技术，所以在这里通过做一个简单的网站点击流数据分析离线系统来和大家一起梳理一下离线分析系统的架构模型。当然这个架构模型只能是离线分析技术的一个简单的入门级架构，实际生产环境中的大数据离线分析技术还涉及到很多细节的处理和高可用的架构。这篇文章的目的只是带大家入个门，

2016-05-31 01:01:11 21133 3

翻译 HBase数据模型解析和基本的表设计分析

最近在学习HBase的使用，并仔细阅读了一篇官方推荐的博客，在这里就以一边翻译一边总结的方式和大家一起梳理一下HBase的数据模型和基本的表设计思路。官方推荐的博客原文地址：http://0b4af6cdc2f0c5998459-c0245c5c937c5dedcca3f1764ecc9b2f.r43.cf2.rackcdn.com/9353-login1210_khurana.pdf

2016-04-25 20:27:40 34077 62

原创 Hadoop Mapreduce本地调试

Mapreduce 是Hadoop上一个进行分布式数据运算和统计的框架，但是每次运行程序的时候都需要将程序打包并上传的集群环境中运行，这就会让程序的调试变得十分不方便。所以在这里写下这篇博客和大家交流学习如何在本地调试Mapreduce程序。我的本地开发环境是Mac10.11.4, Hadoop 2.6.4, 集群操作系统是centos6.7MapRedu

2016-04-16 19:39:48 9643

原创 SSH免密登录的配置

SSH 主要有两种登录方式,一种是密码的登录方式，另一种就是免密的公钥登录方式。第一种硬密码的登录方式有很多弊端： 1：手打密码远程连接服务器这种方式很不安全，尤其是有新的运维人员要使用服务器时，告知硬密码是十分容易导致密码泄露的。 2：在做一些集群部署的时候，向远程服务器发送脚本并执行自动化部署脚本时，这个过程每台就要多次输入密码，就

2016-04-09 13:59:23 1427

原创快速搭建maven+springMVC3.0+mybatis项目

教你如何快速搭建一个在maven管理下的springMVC+mybatis3.0项目

2015-08-01 15:58:09 1012

原创 Groovy入门教程

最近我的BOSS要开始一个新的电商项目，并初步定下开发语言为Java，因为扩展性好，安全性高，再加上中国满大街的Java开发人员和铺天盖地的Java开发资料，都让我们觉得在人力资源和开发方面会比较有保障。但是后来我们在确定开发框架的时候就拿不定主意了，有部分人认为应该使用目前普遍流行的SSH框架（Struts2+Spring+Hibernate), 还有部分人希望使用现在发展迅猛的Grails框架

2015-02-14 14:53:19 3234

转载 MyBatis映射文件中多参数传递的问题

文章转载自：http://www.cnblogs.com/mingyue1818/p/3714162.html?utm_source=tuicool一、单个参数：public List getXXBeanList(String xxCode); 　　select t.* from tableName t where t.id= #{id} 其中方法名

2015-01-28 19:28:32 1748

原创 Mybatis3和Spring3整合下的编程式事务管理

大家都知道在对数据库操作时，最重要的就是要保证业务的原子性和一致性，这样才能基本保证数据库中数据的正确性。就比如说，某个系统中有两张表，一个是用户表users，另一个是用户的基本信息表users_info，用来保存用户真实姓名，地址，联系电话等，这两张表是1对1的关系，并且当新用户注册进users表中，相应地users_info表中也一定要生成对应的信息；这就需要两步操作，第一步是在users表中

2015-01-27 04:08:50 4529

原创在MAC下的Maven2安装使用教程

正如大家所知的，maven是Apache底下的一个项目构建和管理工具，主要的功能有项目中依赖的jar包管理，项目的构建（build），清理，编译，打包部署，运行测试用例，生成报告和文档，软件配置管理，发布管理等等（要活用“等等”这个词，当你不知道这玩意还有什么功能时，写上“等等”，就会显得很专业的赶脚大笑)。在构建JavaEE项目时，很多人的第一反应就是要上SSH框架，因为上框架能实现项目的工业化开发，提高代码的复用性和可维护性，解耦合，方便模块化层次化开发，好处自然不言而喻。但问题就在于要使用这些框架，就

2015-01-08 18:40:52 3701

咕噜大大的专栏