2017年04月_赶路人儿

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 tez安装、配置

hive on tez 的方式有两种安装配置方式： ● 在hadoop中配置 ● 在hive中配置比较: 当已经有了稳定的hadoop集群,而不想动这个集群时,可以考虑采用第二种方式配置,第二种方式配置后只有hive的程序可以动态的切换执行引擎:set hive.execution.engine=mr;// tez/mr ;而其他的mapreduce程序只能在yarn上运行;

2017-04-25 10:23:54 5069 1

原创 python多线程

python提供了两个模块来实现多线程thread 和threading ，thread 有一些缺点，在threading 得到了弥补。先看一个例子：#coding=utf-8import threadingfrom time import ctime,sleepdef music(func): for i in range(2): print "I wa

2017-04-22 18:20:47 555

原创 git checkout到历史某个版本

1、git log2、git checkout：git checkout 788258e49531eb24bfd347a600d69a16f966c495

2017-04-21 11:55:36 96865 1

原创 html5+servlet文件上传

1、index.jspHello World! <input id="fileid" type="file" accept="text/plain" onchange="onfile(this)">var xhr;function onfile(file) { if (!/\.(txt)$/.test(file.value)) {

2017-04-19 12:27:22 1584

熟悉了Sqlserver的sqlserver management studio、Oracle的PL/SQL可视化数据库查询分析工具，在刚开始使用hive、phoenix等类sql组件时，一直在苦苦搜寻是否也有类似的工具，不负所望，SQuirrel Sql client 可视化数据库工具基本可满足要求。 SQuirrel Sql client是一个用Java写的数据库客户端，用JDBC统一数据库访

2017-04-18 12:13:06 2242

转载 hive中order by,sort by, distribute by, cluster by作用以及用法

1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这将会消耗很长的时间去执行。这里跟传统的sql还有一点

2017-04-18 10:13:23 506

转载 hive 分区表

hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。下面的语句创建了一个简单的分区表：create table partition_test(member_id string,name string)partitioned by

2017-04-17 18:46:30 747

原创 hive集群部署

Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL解析的过程，它提供了对外的入口来获取用户的指令然后对指令进行分析，解析出一个MapReduce程序组成可执行计划，并按照该计划生成对应的MapReduce任务提交给Hadoop集群处理，获取最终的结果。元数据——如表模式——

2017-04-14 17:53:53 3167

原创 udf开发——解hive外表中的pb二进制数据

目标：hbase中有一张表，为了提高存储效率使用pb的二进制方式存储；现在hive上建了一个外表，需要写一个udf解pb的二进制数据。一、hbase中存储的数据先用pb生成二进制，转成string后再使用base64编码：1、在hive中创建外表，结构如下：create external table ext_toutiao_feed_incr (f_id string,tagP...

2017-04-12 09:40:51 3541 2

原创 hive数据类型

Hive的内置数据类型可以分为两大类：基础数据类型；复杂数据类型；1、基础数据类型包括：数据类型所占字节开始支持版本 TINYINT 1byte，-128 ~ 127 SMALLINT 2byte，-32,768 ~ 3...

2017-04-09 14:23:06 909

转载 Hive中数据的加载和导出

关于 Hive DML 语法，你可以参考 apache 官方文档的说明:Hive Data Manipulation Language。apache的hive版本现在应该是 0.13.0，而我使用的 hadoop 版本是 CDH5.0.1，其对应的 hive 版本是 0.12.0。故只能参考apache官方文档来看 cdh5.0.1 实现了哪些特性。因为 hive 版本会持续升级，

2017-04-09 13:17:35 768

原创 hive与hbase关联表

hive创建关联hbase表有2种形式：一、建立hive内表，指向hbase：（数据是存在hbase中的）通过下面的方式创建hive的内表，这种情况是hbase本来没有这张表，创建后会在hbase中同样创建一张表，将来数据也是存放在hbase中的；hdfs的hive表目录有hive文件夹，但是里面没有数据。create tablehive_hbase_test(id string,n

2017-04-09 13:01:43 12159 4

原创 Hive中不走MapReduce的查询

在Hive中查询语句往往都要被解析成MapReduce的job进行计算，但是有两个查询语句是不走MapReduce的，如下：1.查询某张表的所有数据[java] view plain copyselect * from employees; 结果显示如下：[java] view plain copy

2017-04-08 14:24:33 7528

转载 hive-列转行和行转列

1. 假设我们在Hive中有两张表，其中一张表是存用户基本信息，另一张表是存用户的地址信息等，表数据假设如下：user_basic_info:idname1a2b3c4duser_address;nameaddressaadd1aa

2017-04-08 12:59:02 1033

原创 shell命令之——getopts

1、getopts 简介　　由于shell命令行的灵活性，自己编写代码判断时，复杂度会比较高。使用内部命令 getopts 可以很方便地处理命令行参数。一般格式为：getopts options variable　　getopts 的设计目标是在循环中运行，每次执行循环，getopts 就检查下一个命令行参数，并判断它是否合法。即检查参数是否以 - 开头，后面跟一个包含在 opti

2017-04-07 11:35:06 622

原创 Log4j info和error输出到不同文件

1、log4j提供了为不同的 Appender 设置日志输出级别的功能，方法是配置Appender的Threshold（log4j.appender.D.Threshold = DEBUG）。例如：### set log levels ###log4j.rootLogger = debug ,stdout,D,E### 输出到控制台 ###log4j.appender.stdout =

2017-04-05 19:08:25 24171 3

转载 grep命令，或关系

2017-04-05 18:58:56 7033

jdt.astview-1.4

eclipse的astview插件

2023-12-18

macOS eclipse Launcher

在windoes平台上，双击桌面eclipse的图标就可以启动多个eclipse示例，打开不同的workspace进行开发。在mac上，eclipse默认只能打开一个workspace，通过该插件支持在eclipse界面上打开多个workspace

2023-12-18

nmon analyser

nmon可以采集服务器 cpu 内存等指标，通过nmon analyser来分析采集指标，生成直观的直方图。

2022-01-26

parquet-tools-1.6.0rc3.zip

parquet-tools-1.6.0rc3-SNAPSHOT.jar是一个查看parquet数据文件schema的工具，github地址：https://github.com/apache/parquet-mr/tree/master/parquet-tools?spm=5176.doc52798.2.6.H3s2kL 下载后mvn编译。附件是编译好的文件。

2020-07-24

jQuery-Plugin-For-Easily-Readable-JSON-Data-Viewer.zip

一个格式化json的jquery插件。支持折叠、打开，而且在折叠后可以看到下面有多少个子节点。有源码、示例。

2019-12-31

yesmeck-jquery-jsonview-v1.2.3-14-g01b1eb8.zip

一款格式化json的jquery插件。该插件支持展开、折叠等操作api。唯一不足的是折叠后不显示元素个数。

2019-12-30

cmake-3.8.1.zip

linux上cmake工具库——用于构建各种c++代码的一个工具。

2019-08-24

gflags-2.2.0.zip

linux上C++的gflags库。gflags是google开发的命令行工具库。

2019-08-24

glog-0.3.5.zip

linux环境下C++的一个日志类库，出品自google。类似于java的log4j、slf4j

2019-08-24

protobuf-3.6.0.tar.gz

在linux上安装protobuf3的安装包，下载后解压、编译、安装即可。

2019-08-20

ModelGoon-4.4.1-site

ModelGoon是一款eclipse的uml作图插件，可以生成类图等。

2019-04-13

mermaid-demo

mermaid是一款开源的画流程图、时序图、甘特度的工具，提供了命令行和html两种使用方法。本例是在html中使用mermaid画出各种图的例子。

2018-10-30

graphite-soft

压缩包中包含了在linux上安装graphite软件需要的一些依赖包。

2018-09-18

btrace1.3.11

btrace1.3.11，用来动态跟踪线上java代码的隐藏bug、OOM、GC等问题。

2018-05-03

linux解析json工具——jq

linux下解析json数据的一个工具包。是一个可执行文件，下载后放到某个目录中就可直接使用。详见：https://www.ibm.com/developerworks/cn/linux/1612_chengg_jq/index.html

2017-09-16

gcviewer-1.35-SNAPSHOT

gcviewer是一款不错的可视化gc查看工具，但官网上现在的只支持jdk1.4版本，这个是版本是支持1.4以上的。

2017-05-31

GCLogViewer-0.3-win64.zip

GCLogViewer是一款可视化的gc查看工具，官网下载无法运行在64位的jdk上。这个版本是兼容jdk64的。

2017-05-31

node-zk-browser-master

一个基于nodejs的zookeeper可视化软件包。内部已经安装好了nodejs所需要的各种依赖，直接解压就可以使用。

2017-01-23

perfMon插件

jmeter的插件管理，perfMon插件相关的jar包（server agent、collection）

2016-10-12

zookeeper ui

使用java语言开发了一个本地ui(swing),可以对zookeeper集群上的节点做增、删、改、查操作。

2016-06-20

CodeFolding

CodeFolding，eclipse的一个插件，支持代码折叠

2016-04-05

maven2eclipse 图形pom编辑插件

maven2eclipsec图形pom编辑插件

2016-03-28

js表格拖拽

使用纯js完成了table(表格)列的拖拽；同时支持列位置的调整。

2015-12-31

tomcat7+jedis+common_pool

tomcat7下，将session保存到redis中，需要用到的jar包。

2015-12-11

Quartz1.7 动态添加、修改和删除定时任务(非spring集成版)

2015-06-21

dbforge studio

2015-04-21

jquery定时界面

大家都知道linux的conrtab，在web开发中，我们有时候也要实现类似的功能，该文件就是jQuery是实现的crontab。

2015-03-29

jquery 全屏显示插件

jquery 全屏显示插件，实现网页的全屏显示。适用各种不同的浏览器，包括FF 10, Chrome 和 Safari。它用于为用户提供了一个更容易阅读的网页版本，可缩放和元素。

2015-03-20

小图标素材

312个16×16的精美小图标素材，涵盖了大部分功能用到的小图标，非常不错。

2015-03-16

dbforgemysql

dbforgemysql是一款调试mysql 存储过程、函数的工具，使用它可以单步、断点调试mysql存储过程。

2015-03-11

jquery 下拉左右选择控件

基于jquery 实现的下拉框左右选择控件支持多选按住ctrl shit多选

2015-02-27

自定义树表格

基于jquery开发的可以分页的输表格。参照网址http://blog.sina.com.cn/s/blog_3efe6ef10100fcv2.html

2015-02-11

eclipse插件-jad

eclipse的插件——jad.zip，可以通过简单的配置，实现反编译class，获得源码

2015-02-05

jquery.radio.js

jquery的easyUI框架，单选按钮插件封装

2015-01-20

easyUI后台demo

easyUI后台demo 是一个使用easyui框架搭建的一个后台管理系统的界面。

2015-01-19

easyUIdemo（疯狂的秀才）

easyUIdemo（疯狂的秀才）是一个使用easyui框架搭建的一个后台管理界面。

2015-01-19

easyUI-api文档

easyUI框架-api中文文档,包含easyUI框架包。

2015-01-04

SQLyog_Enterprise

连接mysql的客户端，SQLyog_Enterprise。带验证码

2014-11-17

eclipse-maven3-plugin

eclipse-maven3-plugin：eclipse的maven离线插件包

2014-10-23

apache-maven-3.2.3-bin

apache-maven-3.2.3-bin：eclipse中离线安装maven的工具包，把它直接拷贝到eclipse的安装路径下，配置好maven.link等信息后，就可以安装好了。

2014-10-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人