Hive JDBC 配置session properties

在使用hive jdbc的时候,需要有一些hive session的配置, 比如说: 当前作业使用的是哪条队列 当前作业的map大小,reduce大小,map个数,reduce的个数。 等等   解决方案是:在jdbc url上面,进行初始化的配置。 Connection URL ...

2017-07-09 23:13:08

阅读数 76

评论数 0

你真的会SQL吗?关于SQL的join和on之间的区别

写了那么多年的SQL,居然发现自己写的是错的,实在是惭愧不已。还好没出什么问题。 于是,决定痛定思痛,纠正自己对SQL的错误认识。   我们有一个SQL: SELECT sys.Netbios_Name0 as [Computer Name], sf.fileName ...

2014-12-05 22:11:07

阅读数 19

评论数 0

Linux crontab 调度失败

crontab是个Linux上面常用的调度工具。 当然,如果在大量设备的情况下,尽量不要用本地的crontab,维护起来很麻烦。   那么我遇到的问题是,crontab调度失败。   也就是一般的crontab命令:   crontab -e #报表调度 0 4-4 * *...

2014-12-05 09:43:42

阅读数 17

评论数 0

[转]Servlet3特征 异步Servlet

转自:http://www.importnew.com/8864.html 理解异步Servlet之前,让我们试着理解为什么需要它。假设我们有一个Servlet需要很多的时间来处理,类似下面的内容:   package com.journaldev.servlet; import ...

2014-12-04 22:01:59

阅读数 12

评论数 0

慎用堆表

有时候我们常常为了使用方便,省略建主键的建表方式。 因为很多时候,这些数据来自于外部,而且数量和增长不会很大。   比如是一些存储过程刷新出来的结果集。   那么我们就会建一个堆表。什么是堆表? 就是没有主键,也没有索引的表。   堆表在创建以后,数据库会以最快地速度把数据插入到...

2014-11-18 11:14:29

阅读数 20

评论数 0

java多线程同步代码块wait(),notify()和notifyAll()

一直对同步代码块和notify()不是很熟悉,后来做了个教程,总算是了解清楚了。 wait(),notify()和notifyAll() 其实是用于线程间的通信的。   Java有一个内建的等待机制来允许线程在等待信号的时候变为非运行状态。java.lang.Object 类定义了三个方...

2014-10-29 17:06:15

阅读数 13

评论数 0

SolrJ 常用增删查

Solr搜索引擎一般是只会进行增删查,对于Solr的数据结构,可以理解为类似MongoDB的类型的数据库。 与MonogoDB的Schema Free不同。 Solr还是需要自己定义字段,并且做一些设置的。   而Solr一般在修改索引的时候,会选择全量更新,所以一般不会有单条索引的更...

2014-10-20 11:15:07

阅读数 13

评论数 0

Solr4.7配置简单Replication

公司的架构没有zookeeper,所以solr还是用原有的Replication方式进行负载。   在Solr example里面的core/conf/solrconfig.xml下面,有一段Replication的配置: <!-- Solr Replicati...

2014-10-20 09:36:56

阅读数 14

评论数 0

[转]Python version 2.7 required, which was not found in the registry

refer:http://www.cnblogs.com/min0208/archive/2012/05/24/2515584.html   不能在注册表中识别出来python2.7 在网上找了方法,仅作笔记,供下次使用   方法:  新建一个register.py 文件,把一下代...

2014-10-16 13:35:26

阅读数 14

评论数 0

[半转]Linux 查找命令

Linux的查找命令   查找各文件夹中对应文件并显示文件大小时间等信息 find ./ -name "*hadoop*" | xargs ls -ltr   只查找文件夹 find ./ -name "xxxlog&qu...

2014-09-09 14:17:28

阅读数 11

评论数 0

为hadoop0.20.2 配置Ganglia3.1.7

hadoop0.20.2,打了补丁以后,可以支持Ganglia3.X的监控。 如果不打补丁,就无法支持Ganglia3.X了。   安装说明等,完整下载地址:http://pan.baidu.com/s/1hqehLp6   1.用rpm检测依赖包情况 rpm -q gcc gli...

2014-09-03 17:17:57

阅读数 14

评论数 0

[转]谈谈Memcached与Redis

原文出自:http://blog.sina.com.cn/s/blog_72995dcc01018qkf.html   这是一篇非常非常好的文章,讲述Memcached与Redis的选择,给人以全面的认识。   1. Memcached简介 Memcached是以LiveJurnal...

2014-08-28 15:41:13

阅读数 41

评论数 0

配置sqoop和mssql

将mssql 的jar包:sqljdbc4.jar 拷贝到SQOOP_HOME/lib下   配置sqoop   cd /home/support/sqoop-1.4.5/conf     cp sqoop-env-template.sh sqoop-env.sh   修改sqo...

2014-08-28 10:22:47

阅读数 21

评论数 0

Java序列化 Seriallizable 和 Externalizable

1.Java对象序列化是将 对象的实例域数据( 包括private私有域) 进行持久化存储。而并非是将整个对象所属的类信息进行存储。 2.我们都知道凡要序列化的类都必须实现Serializable接口。包括Externalizable接口 3.包含了不可序列化的对象域的对象也是不能序列化的...

2014-08-25 17:56:42

阅读数 63

评论数 0

Solr4.6+ multicore配置

有2中配置方式,一是从Solr Admin进行multi core的配置。   在Solr Admin控制台里面选择:Core Admin 选择Add Core 然后把你准备好的路径写到里面去。   name: xxx     配置core的名称 instanceDir:xxx ...

2014-08-19 22:19:50

阅读数 14

评论数 0

使用MySQL作为SOLR的索引源

首先,需要在solrconfig.xml中增加 <lib dir="../../../dist/" regex="solr-dataimporthandler-.*\.jar" /&...

2014-08-17 17:39:00

阅读数 13

评论数 0

配置Capacity Scheduler

多用户下的Hadoop集群,少不了资源配置的管理。 Capacity Scheduler作为Yahoo开源的资源管理器,有着相当不错的适用性。   在HADOOP_HOME下的lib文件夹下面,找找有没有capacity schedule的jar包。 老版本的hadoop会把capac...

2014-08-14 23:55:18

阅读数 25

评论数 0

Solr debugQuery使用体会

使用solr,就使用到各种的排序和boost。 在公司的站内搜索引擎,就遇到了排序的问题,各种各样的条件,融合在最后一个分数里面。   开启debugQuery,就可以看到每个document的打分逻辑原理。 比如说,我们的查询是这样的:  /solr/select?q=ddr&am...

2014-08-06 14:41:06

阅读数 38

评论数 0

python使用smtp库发送邮件

目前正在开发一个日志扫描工具,用于扫描报错日志,并打包成邮件,发送到邮箱。   虽然不复杂,但是是个非常方便的工具。   #!/usr/bin/env python # coding=utf-8 from smtplib import SMTP from email import...

2014-07-29 13:42:36

阅读数 21

评论数 0

2014年找工作小结

从深圳离职回广州工作。 去了台湾玩了11天,进入到了找工作的节奏。   把广州我能尝试的比较好的公司都面了一遍,可是全部都挂了。 但是皇天不负有心人,总算在我薪资满意的范围内,找到一份数据开发的相关工作。   UC面了2次, uc是朋友推荐我去面试的,非常非常感谢他。 但是UC...

2014-07-27 12:48:54

阅读数 26

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭