自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 SPARK数据类型SPARSEMATRIX 解释

parseMatrix Spark的mllib包中提供了机器学习的两种基本数据类型: DenseMatrix(稠密)和 SparseMatrix(稀疏),在初始化对象的时候可以使用Matrices伴生对象产生,先看下示例代码: import org.apache.spark.mllib.li...

2020-07-11 14:22:04 21 0

原创 Elasticsearch地理位置总结

更多内容请参考 :https://www.felayman.com 翻译版本:https://es.xiaoleilu.com/310_Geopoints/00_Intro.html 官方原文:https://www.elastic.co/guide/en/elasticsearch/guide/...

2020-07-08 13:28:06 19 0

原创 elasticsearch多磁盘扩容

1、问题 由于早前elasticsearch集群数据存储路径只配置了一个,所以某天磁盘突然爆满,集群差点当机。需重新配置多路径存储路径,因为在生产环境,得保证集群不死掉,只能一台一台配置重启。 2、修改配置文件 修改elasticsearch.yml中path.data属性,添加多路径以逗号...

2020-07-06 18:49:51 39 0

原创 HDFS数据平衡:节点间平衡与节点内平衡

前面某篇文章已经说过,HDFS容易发生数据不平衡的问题。这其中包括各个DataNode之间存储的数据量差异,以及一个DataNode内部各磁盘之间存储的数据量差异。HDFS专门提供了对应的机制来解决。 节点间平衡:Balancer CDH在HDFS中提供了Balancer角色,使我们可以免于用...

2020-07-04 14:45:47 57 0

原创 Linux下su与su -命令的区别

在启动服务器ntpd服务时遇到一个问题 使用 su root 切换到root用户后,不可以使用service命令; 使用 su - 后,就可以使用service命令了。 原因: su命令和su -命令区别就是: su只是切换了root身份,但Shell环境仍然是普通用户的Shel...

2020-07-01 14:37:21 15 0

原创 如何解决Greenplum master node与seg node元数据不一致,greenplumseg

作为分布式数据库,Greenplum的元数据经常(是真的,经常遇到)会出现些错误,典型的一个是master node与seg node元数据不一致,本文结合一个具体错误,介绍下解决的办法。 现象 使用gpcheckcat -p 5432 databasename检查数据库时,将报出类似如下的输...

2020-07-01 13:58:20 35 0

转载 Greenplum获取表结构

最近在折腾greenplum,遇到一个蛋疼的问题,那就是获取表结构,也就是建表语句。大家都知道在MySQL里面是非常easy的,show create table table_name 就搞定了,在gpdb里面就没这么容易,在查询大量资料以后终于找到了方法。那就是自己定义一个函数去获取,函数中可以...

2020-06-30 18:40:03 52 0

原创 Idea快捷键大全(Windows)

Ctrl 快捷键 介绍 Ctrl + F 在当前文件进行文本查找 (必备) Ctrl + R 在当前文件进行文本替换 (必备) Ctrl + Z 撤销 (必备) Ctrl + Y 删除光标所在行 或 删除选中的行 (必备) Ctrl + X 剪切光标所在行 或 剪切选择内容 Ctrl + C 复制...

2020-05-15 09:21:27 98 0

原创 jdbc 调用 sql server 的存储过程时“该语句没有返回结果集”的解决方法

解决方法:在存储过程首行加上 SET NOCOUNT ON

2020-05-14 19:35:14 64 0

原创 安装elasticdump

1 下载node-v8.17.0-linux-x64 2、上传到 linux 3、解压tar xvf node-v8.17.0-linux-x64.tar.gz 4、转移文件cp -r node-v8.17.0-linux-x64 /home/node/ 5、设置环境变量 vi/etc/p...

2020-04-08 19:10:30 170 0

原创 杀死GP进程

SELECT datname,procpid,query_start, current_query,waiting,client_addr FROM pg_stat_activity SELECT pg_cancel_backend(73741)

2020-03-23 15:48:06 110 0

原创 查看GP空间

select table_schema,table_name,sz, cast ( cast(substring(sz,1,length(sz)-3) as decimal(18,2))* ( case when sz like '%k%' then power(10,-13)...

2020-03-23 14:11:22 109 0

原创 mysql 随机分页的优化

SET @a=(SELECT FLOOR(RAND() *(SELECT COUNT(*) FROM table_a)/10000)); # 取随机页 SELECT b.* FROM ( SELECT recordid FROM ( SELECT recordid FROM table...

2019-12-04 10:16:52 103 0

转载 elasticsearch中如何高效的使用filter

这里有一篇很好的文章,很不错,翻译和整理了一下,英文不错的,建议直接看原文:http://euphonious-intuition.com/2013/05/all-about-elasticsearch-filter-bitsets/ elasticsearch里面有BOOLfilter、AND...

2019-05-16 18:22:53 368 0

原创 SQLServer changtracking 增量获取

select (case CT.sys_change_operation when 'I' then 'INSERT' when 'U' then 'UPDATE' when 'D' then &...

2019-03-25 10:20:38 229 0

转载 基于storm的实时计算应用实践

有赞使用storm已经有将近3年时间,稳定支撑着实时统计、数据同步、对账、监控、风控等业务。订单实时统计是其中一个典型的业务,对数据准确性、性能等方面都有较高要求,也是上线时间最久的一个实时计算应用。通过订单实时统计,描述使用storm时,遇到的准确性、性能、可靠性等方面的问题。订单实时统计的演进...

2018-06-06 09:44:58 3585 0

原创 varbin2hexstr

CREATE function varbin2hexstr( @bin varbinary(8000) )returns varchar(8000) as begin declare @re varchar(8000),@i int ...

2017-12-12 15:50:05 434 0

原创 IP 数字 互转 SQL server

ALTER FUNCTION [dbo].[f_Int2IP]( @IP bigint )RETURNS varchar(16) AS BEGIN     DECLARE @re varchar(16)     SET @re=''     SELECT @re=...

2017-11-21 14:23:21 1296 0

原创 kettle 禁止空白字符串转换为NULL值

在C:\Users\用户名\.kettle目录中找到kettle.properties文件,增加: KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL=Y

2017-09-04 14:01:41 3534 0

原创 mysql 查找数据库里面字段的id是否存在 可以限定表和字段

DELIMITER $$ USE `awebprice`$$ DROP PROCEDURE IF EXISTS `p_search_value`$$ CREATE DEFINER=`dbn_admin`@`%` PROCEDURE `p_search_value`( ...

2017-08-15 16:18:27 2831 0

转载 求地球经纬度间距

CREATE FUNCTION [dbo].[fnGetDistance]   --LatBegin 开始经度  --LngBegin 开始维度 (@LatBegin REAL, @LngBegin REAL, @LatEnd REAL, @LngEnd REAL)         RET...

2017-08-04 19:05:23 483 0

转载 java 集成kettle

java集成kettle 示例: 方案: 启用定时任务,调用PDI生成的trans.ktr文件 maven仓库地址:http://maven-repository.com/artifact/pentaho-kettle     penta...

2017-07-22 11:02:29 2181 0

原创 MySQL binlog getinfo

https://github.com/shyiko/mysql-binlog-connector-java

2017-07-14 13:54:22 760 0

原创 MySQL 捕获存储过程

# drop table _capture_etpbase_margin_record # 需要修改的信息,3项: #原始自增列(本例中为id) 表名(本例为etpbase_margin_record) 字段列表 # 创建暂存表 CREATE TABLE _capture_...

2017-07-12 15:42:05 175 0

原创 mysql JDBC

zeroDateTimeBehavior=convertToNull&transformedBitIsBoolean=true

2017-05-23 09:13:11 414 0

转载 如何部署war包到tomcat

在TOMCAT中部署war  1、将war文件拷贝到tomcat目录\webapps\ 下。  2、将必要的jar文件拷贝到tomcat目录\lib\ 下。  3、修改tomcat目录\conf\下的server.xml。      将这段代码中的    拷贝一下并...

2017-04-28 13:37:16 4518 0

原创 MySQL join 的方式 实现递归

SELECT T1.SortID,T1.lvl,T2.SortId, T2.SortName  FROM (      SELECT a.SortId,         @r AS _id,          (SELECT @r := PID FROM BSOrganizationSor...

2017-04-01 16:42:13 1118 0

原创 Kettle 7

Kettle 7 对数据类型要求严格。 null string --->datetime update error

2017-03-17 09:58:34 1392 0

转载 jQuery的attr与prop

jQuery1.6中新添加了一个prop方法,看起来和用起来都和attr方法一样,这两个方法有什么区别呢?这要从HTMl 的attribute与property区别说起,attr与prop正是这两个东西的缩写。 attribute与property attribute和property...

2017-03-16 13:18:09 221 0

原创 tempdb 诊断

use tempdb   go   SELECT top 10 t1.session_id,                                                       t1.internal_objects_alloc_page_count,  t1.use...

2017-03-04 10:03:15 315 0

转载 LinQ.js

前言:前面几篇介绍了下C#基础技术中的几个:反射、特性、泛型、序列化、扩展方法、Linq to Xml等,本来还有两三个知识点没有写完,比如委托、多线程、异步等,后面会陆续将它们补起来,以便作为一套完整的系列。之所以有这篇是因为目前BS项目中前端经常需要对Json的数组对象进行筛选、查找、判断...

2017-02-16 09:16:31 753 0

原创 echarts esl加载路径---未配置模块

ECharts                              // 路径配置       require.config({           paths:{                echarts:�...

2017-02-10 14:55:16 2175 0

转载 Eclipse下Nodejs项目配置步骤

版权声明:本文为博主原创文章,未经博主允许不得转载。 说明:本人OS为64位windows7  Eclipse开发环境搭建前提条件:1)Node.js已安装ok,环境变量已配置,可以使用node -v来校验是否安装和配置成功(打开cmd命令窗口,输入node -v,如果正确安装...

2017-02-10 10:03:41 419 0

原创 jQuery中断跳转

$(document).ready(function(){    $.get("text.html",function(data){ //初始將a.html include div#iframe $("#iframe").html(data); });...

2017-01-10 19:05:21 763 0

原创 java kettle v2

package com.Nxin.BigData; import java.io.File; import java.util.HashMap; import java.util.Map; import org.pentaho.di.core.KettleEnvironment; ...

2017-01-09 15:05:33 327 0

原创 java kettle 初步

package com.Nxin.BigData; import org.pentaho.di.core.KettleEnvironment; import org.pentaho.di.core.exception.KettleEOFException; import org.pentah...

2017-01-09 11:20:49 759 0

转载 Java程序调用kettle中的job(.kjb)和Trans(.ktr)

package com.p.serv.util;      import org.pentaho.di.core.KettleEnvironment;   import org.pentaho.di.core.exception.KettleException;   import org....

2017-01-09 10:11:27 10675 3

转载 图片切割

菜鸟教程(runoob.com)   #navlist{position:relative;} #navlist li{margin:0;padding:0;list-style:none;position:absolute;top:0;} #navlist li, #navlist a...

2016-12-29 10:25:48 222 0

转载 图像透明度

img{ opacity:0.4; filter:alpha(opacity=40); /* IE8 及其更早版本 */}img:hover{ opacity:1.0; filter:alpha(opacity=100); /* IE8 及其更早版本 */}

2016-12-29 09:37:12 1084 0

转载 导航条下拉菜单

ul {     list-style-type: none;     margin: 0;     padding: 0;     overflow: hidden;     background-color: #333; } li {     float: left; } li a, ...

2016-12-29 08:57:02 338 0

提示
确定要删除当前文章?
取消 删除