- 博客(23)
- 收藏
- 关注
RSS订阅原创 ES操作手册
ES操作手册序言索引操作功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入序言本篇主要记录ES的操作、监控、维护索引...
2020-01-16 11:18:17
1272
翻译 java对象的五种创建方式
示例对象public class People { private String name; private String address; public People() { } public People(String name, String address) { this.name = name; t...
2018-06-05 14:30:48
231
原创 maven plugins
生成可执行的jar生成可执行的jar默认生成的jar包是不能够直接运行的，以为带有main方法的类信息不会添加到manifest中（打开jar文件中的META-INF/MANIFEST.MF文件，将无法看到Main-Class一行），借助maven-shade-plugin可以生成可执行的jar文件。<plugin> <groupId&...
2018-03-04 13:46:42
365
原创 maven中的命令行命令
编译和测试打包和运行使用Archetype生成项目骨架优化依赖查看已解析依赖查看依赖输分析依赖编译和测试编译命令： maven clean compile测试命令： maven clean test打包和运行打包命令： maven clean package这样打包，并不能将包安装到maven仓库中 ...
2018-03-04 13:23:56
1035
原创 Maven 单元测试
编写主代码测试代码执行测试[INFO] Surefire report directory: /Users/pengxiaohe/private_project/common/maven-test/target/surefire-reports2018-03-03T23:53:11+08:00 [INFO] Final Memory: 17M/306M [INFO]...
2018-03-04 00:29:11
1333
原创 pom.xml 文件结构
一个简单的pommaven坐标依赖的配置依赖传递依赖调解一个简单的pom<?xml version="1.0" encoding="UTF-8"?><project xmlns = "http://maven.apache.org/POM/4.0.0" xmlns:xsi = "http://www.w3.org/2...
2018-03-03 23:20:29
1108
原创 Maven setting.xml 配置项
设置http 代理设置http 代理有时候出于安全考虑，我们需要使用通过安全认证的代理访问因特网，这种情况下，就需要为maven配置代理，才能正常访问外部仓库。<settings>... <proxies> <proxy> <id>my-proxy</id&g...
2018-03-03 22:39:18
110
转载 oracle 锁机制
数据库是一个多用户使用的共享资源。当多个用户并发地存取数据时，在数据库中就会产生多个事务同时存取同一数据的情况。若对并发操作不加控制就可能会读取和存储不正确的数据，破坏数据库的一致性。 在数据库中有两种基本的锁类型：排它锁（Exclusive Locks，即X锁）和共享锁（Share Locks，即S锁）。当数据对象被加上排它锁时，其他的事务不能对它读取和修改；加了共享锁的数据对象可以被其他事务读
2016-11-28 20:39:26
270
翻译 python SciPy模块的使用
SciPy是为数学,科学和工程服务的开源软件； SciPy是建立在Numpy上的数学算法和便利函数的集合； 为了简洁和方便，按以下方式引用Numpy包和SciPy包>>> import numpy as np一、简单的函数 1、与Numpy互动 Scipy建立在Numpy上，所有的数组操作，都需要用到Numpy函数指数的技巧 有一些实例利用分片功能提供特殊的方法来构造数组； 例如，我们
2016-10-25 21:56:59
18727
原创 python pip安装
pip是一种很方便引入python模块的工具，但安装比较麻烦，以下记录了安装pip的过程，方便以后查看； 本人os 为win7 64位操作系统； 1、在 https://pypi.python.org/pypi/pip#downloads ： 中下载pip的安装包，下载的包是pip-8.1.2.tar.gz； 2、解压下载的安装包 3、在cmd 中进入解压的包中执行E:\work_soft
2016-10-25 11:37:31
636
转载 sed 处理文本的用法
linux之sed用法sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法 sed命令行格式为： sed [-nefri] ‘command’ 输入文本 常用选项： -n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDI
2016-08-23 11:41:13
319
转载 hive 中的join
Common Join最为普通的join策略，不受数据量的大小影响，也可以叫做reduce side join ,最没效率的一种join 方式. 它由一个mapreduce job 完成.首先将大表和小表分别进行map 操作, 在map shuffle 的阶段每一个map output key 变成了table_name_tag_prefix + join_column_value , 但是在进行p
2016-08-18 16:26:57
306
转载 spring 注入properties属性乱码问题
使用Spring注解方式注入properties文件内容，并配合Junit4+Spring做单元测试先看看工作目录，然后再来讲解1、建立config.properties，我的config.properties内容如下：author_name=luolinproject_info=该项目主要是用于写一些demo2、配置Spring配置文件，读取properties文件，并设置编码格式。大家从我的项
2016-08-18 15:55:45
8929
原创 mongodb复制和分片
复制主从复制主从复制是MongoDB最常用的复制方式，这种方式非常灵活，可用于备份、故障恢复、读扩展等。最基本的设置方式就是建立一个主节点和一个或者多个从节点，每个从节点要知道主节点的地址。运行mongod --master就启动了主服务器。运行mongod --slave --source master_address则启动了从服务器，其中master_address 就是上面主节点的地址。*
2016-08-13 22:01:23
2101
转载 远程运行shell脚本
ssh执行远程操作 命令格式 复制代码 代码如下:ssh -p $port $user@$p 'cmd' $port : ssh连接端口号 $user: ssh连接用户名 $ip:ssh连接的ip地址 cmd:远程服务器需要执行的操作准备工作 基于公私钥认证或者用户名密码认证能确保登录到远程local2服务器(有点基本运维知识的人做这个事情都不是问题) cmd如果是脚本，注意绝
2016-08-12 14:18:39
2985
转载 java 正则匹配符号
1 [正则表达式]文本框输入内容控制 2 整数或者小数：^[0-9]+\.{0,1}[0-9]{0,2}$ 3 只能输入数字："^[0-9]*$"。 4 只能输入n位的数字："^\d{n}$"。 5 只能输入至少n位的数字："^\d{n,}$"。 6 只能输入m~n位的数字：。"^\d{m,n}$" 7 只能输入零和非零开头的数字："^(0|[1-9][0-9]*)$"。
2016-08-11 14:22:51
1780
原创 mongodb 索引、聚合操作
MongoDB索引MongoDB的索引几乎与传统的关系型数据库索引一模一样。创建索引的方法：> db.trans.ensureIndex({card1: 1}){ "createdCollectionAutomatically" : false, "numIndexesBefore" : 1, "numIndexesAfter" : 2, "ok" : 1}对于同
2016-08-05 16:08:29
2701
原创 mongo 基本操作
mongodb是面向文档的数据库，没有模式，文档的键不会事先定义，也不会固定不变。由于没有模式需要更该，通常不需要迁移大量的数据。优点1、容易扩展 2、丰富的功能 - 索引 - 存储javascript - 聚合 - 固定集合 - 文件存储 3、不牺牲速度 - 使用MongoDB传输协议 - 预分配数据文件 - 默认的存储引擎中使用了内存映射 - 动态查询优
2016-08-02 21:53:16
1010
原创 hive 脚本接受参数
有时候需要向hive脚本中传入参数，以便可以重用脚本； 向脚本中传入参数主要由两种情况： 1、通常是通过shell脚本调度hive脚本的， hive提供了可以直接读取系统变量和环境变量的方法； hive脚本如下所示#test.sqluse pxh;select '${env:month}' as monthfrom pxh.dual;启动脚本如下：#start.sh#!/bin/sh
2016-07-28 15:31:39
9238
原创 awk 命令在处理文本中的应用
awk命令在处理文本中很方便，最近总结了一些awk的具体应用。 1、awk参数介绍 先写一个常用命令： cat 4653_trans_out |awk -F’,’ ‘{print 0;}’ -F’,’ 是文本中的每一行按逗号分割0;}’ -F’,’ 是文本中的每一行按逗号分割 0 是
2016-07-21 21:13:03
320
原创 hdfs api 操作
1、项目的管理主要用了maven，需要的依赖如下： 2、对hdfs操作代码如下： private static FileSystem fs; private static final String PROTOCOL = “hdfs”; private static final String FLAG = “//”; private static final Stri
2016-07-21 19:06:15
555
转载 hive udaf的编写
介绍 hive的用户自定义聚合函数（UDAF）是一个很好的功能，集成了先进的数据处理。hive有两种UDAF：简单和通用。顾名思义，简单的UDAF，写的相当简单的，但因为使用Java反射导致性能损失，而且有些特性不能使用，如可变长度参数列表。通用UDAF可以使用所有功能，但是UDAF就写的比较复杂，不直观。本文只介绍通用UDAF。UDAF是需要在hive的sql语句和group by联合使用，
2016-07-13 10:58:18
642
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人