程序车轮

最近的项目使用来dubbo进行开发，虽然可以使用telne客户端t进行dubbo的接口的调试，但总感觉调试起来不太方便，并且限制太多，于是抽了点时间出来编写了一个dubbo的客户端可视化调试工具，功能虽简单但可以快速的调试dubbo接口。该客户端通过连接注册中心(Nacos,Zookeeper,Redis)或者直连服务获取服务提供者进行dubbo接口调试。一、导入dubbo接口通过加载jar自动获取接口信息，生成请求参数的JSON个数，修改请求参数及将请求参数保存下来。二、配置注册...

ElasticSearch是一个基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。ElasticSearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。1.Elasticsearch中的文档表现...

1、基本命令1.1 查询状态（status）hbase(main):009:0> status1.2 查看版本(version) hbase(main):001:0> version1.3 查看帮助信息(help) hbase(main):038:0> helphbase(main):038:0> get helphb...

一、什么是索引 索引类似是大型图书馆建立书目索引，可以提高数据检索的效率，降低数据库的IO成本。MySQL在数据量较大(官方文档说500~800w记录)的情况下性能开始逐渐下降，所以大数据量建立索引来提高数据的检索效率是非常有必要的。1.1、索引的概念 MySQL官方对索引的定义为：索引(Index)是帮助MySQL高效获取数据的数据结构。我们可以简单理解为：...

1 Sping事务简介事务管理是应用系统开发中必不可少的一部分，Spring为事务管理提供了丰富的功能支持。Spring事务管理分为编程式事务管理和声明式事务管理的两种方式。1.1 编程式事务编程式事务指的是通过编码方式实现事务，编程式事务管理使用TransactionTemplate或者直接使用底层的PlatformTransactionManager。对于编程式事务管理，sprin...

       在Node.js中使用mongoose模块操mongodb是很简单的事情，mongoose提供了一套丰富的api来操作mongodb。1 定义MongoDB的Schema结构//获取mongodb组件var mongoose = require('mongoose');/** * 表结构定义 * */var schema = new mongoose.Schem...

Spark RDD转换操作RDD,即弹性分布式数据集，全称为Resilient Distributed Dataset,是一个容错的，并行的数据结构，可以让用户显式地 将数据存储到磁盘和内存中，并能控制数据的分区。同时，RDD还提供了一组非常丰富的操作来操作这些数据，如：map,flatMap,filter等转换操作，以及SaveAsTextFile,conutByKey等行动操作。本博客中...

好友推荐概念     目前大量的社交网站上，它们都有一个共同的特性，就是可以在好友关系的基础上推荐更多的联系人。例如，QQ的“你可能认识的人”特性允许用户查看它们可能联系的人。基本思想就是：如果tom是jack的好友，而tom又是peter的好友，也就是说，tom是jack和peter的共同好友，但是jack和peter可能并不认识你。那么社交网络系统可能就会推荐jack与peter联系，又或...

共同好友的概念      在一个庞大的社交网络中，两个互相认识的朋友之间的也会存在共同好友。在这个庞大的社交网络总，对所有的用户对中找到”共同好友”，这是一个复杂及有趣的事情。假设，U为一个用户及其所有好友的一个集合：｛U1,U2,U3,…Un｝,我们要从每组集合（Ui,Uj）（i != j）找出共同好友关系。       在如今的大多数社交网络（Facebook,LinkedIn,QQ）...

Spark应用依赖jar包添加无效的解决方案      在Spark应用中，我们发现，在${SPARK_HOME}\lib文件夹中添加jar包时并不起作用。那么，要如何使得我们编写的Sparky应用依赖的jar有效呢？有如下四种方案：    1.使用参数--jars 添加本地的第三方jar文件（运行spark-submit脚本的机器上），可以给定多个jar文件，中间用逗号隔开     例子：   ...

       购物篮分析（Market Basket Analysis，MBA）是一个商品交易中流行的数据挖掘技术，市场营销人员和电子商务人员经常用这个技术来揭示不同商品或商品组合之间的相似度。商品数据挖掘的目标，一般是从庞大的数据集合中提取有趣及有用的关联信息，例如数前千万商品或信用卡销售交易。购物篮分析可以帮助分析人员找出很有可能一起购买的商品，关联规则挖掘则会发现一个交易商品之间的相关性。然...

    在Hadoop的运行环境中，什么文件是小文件？在Hadoop的世界中，小文件是指文件大小远远小于HDFS块大小的文件。Hadoop2.0中，HDFS默认的块大小是128MB，所以，比如2MB,7MB或9MB的文件就认为是小文件。在Hadoop的环境中，块大小是可以通过参数配置的，这个参数由一个名为dfs.block.size定义。如果一个应用要处理一个超大的文件，可以通过这个参数设置更大更...

一、 基本概念       移动平均法是一种简单平滑预测技术，它的基本思想是：根据时间序列资料、逐项推移，依次计算包含一定项数的序时平均值，以反映短期趋势的方法。因此，当时间序列的数值由于受周期变动和随机波动的影响，起伏较大，不易显示出事件的发展趋势时，使用移动平均法可以消除这些因素的影响，显示出事件的发展方向与趋势（即趋势线），然后依趋势线分析预测序列的中短期趋势。       移动平均法的应用...

    在编写SQL语句时，大家都比较熟悉的LeftOuterJoinn来关联两个表之间的数据，从而查询到我们想要的结果。在Spark的数据操作中，同样也会经常使用LeftOuterJoin来关联两个数据集。那么，在Spark数据操作中主要有那几种数据集的LeftOuterJoin方法呢？    本文中操作LeftOuterJoin方法时，主要用到的数据为用户表数据和用户订单交易数据，使用Left...