2015年02月_genghaihua

12月 11月 10月 09月 08月 07月 06月 04月 03月 02月 01月

转载 Linux命令之非交互SSH密码验证-sshpass

ssh登陆不能在命令行中指定密码。sshpass的出现，解决了这一问题。sshpass用于非交互SSH的密码验证，一般用在sh脚本中，无须再次输入密码。它允许你用 -p 参数指定明文密码，然后直接登录远程服务器，它支持密码从命令行、文件、环境变量中读取。其默认没有安装，需要手动安装，方法如下：sshpass下载地址：http://sourceforge.net/p

2015-02-27 11:26:45 546

转载 iproute介绍

====== iproute介绍 ======iproute是用于linux下网络配置工具，该工具包含下面工具组件，分别为： ip 网络配置命令 tc 用来进行流量控制的命令（traffic control） rtacct 查看数据包流量状态的命令 ifcfg 网络地址配置管理 rtstat 路由状态查看工具 nstat 显示网络统计信息 ss

2015-02-27 11:25:48 2183

转载在节点之间导出和导入 DOCKER 镜像

http://www.tuicool.com/articles/emYVRzv注：本文由JAMES.COYLE在 2014-6-16 编写，原文地址为 EXPORT AND IMPORT A DOCKER IMAGE BETWEEN NODESDocker 背后的驱动力之一就是通过所有的 Docker 使服务器能创建一个一致的环境，并且能创建一个能运行在任何 Do

2015-02-27 11:16:20 489

转载 CentOS 修改源为163和指定epel源和Docker安装

CentOS 修改源为163和指定epel源和Docker安装地址：http://mirrors.163.com/.help/centos.html使用说明首先备份/etc/yum.repos.d/CentOS-Base.repomv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.rep

2015-02-27 11:14:09 2378

转载 How To Install Docker On Ubuntu 13.04 x64 VPS

IntroductionIn case you're not familiar with Docker, here is the summary of it and its functionality:Docker is an open-source engine which automates the deployment of applications as highly po

2015-02-27 11:06:28 822

原创 infobright数据库创建表

CREATE TABLE `tttt` ( `id` bigint(20) NOT NULL , `name` varchar(20) NOT NULL, `age` int(3) NOT NULL) ENGINE=BRIGHTHOUSE DEFAULT CHARSET=utf8;load data infile '/tmp/info.txt' ignore into ta...

2015-02-11 11:36:49 1363

转载 infobright安装（RPM包，二进制，源码编译）、升级及配置

一、RPM安装1.下载2.root权限用户安装rpm -ivh infobright-version.rpm –prefix=/usr/local装完后在目标目录下会有两个新文件夹，infobright-version-86_x64和其链接infobright3.启动infobright：/etc/init.d/mysqld-ib start4.任意路径下运行mysql-ib...

2015-02-10 11:32:29 1115

转载面向列的mysql数据库引擎－BRIGHTHOUSE(infobright数据库)

brighthouse 是infobright 数据库的关键引擎。infobright 数据库是基于mysql的，它的设计主要是用于大规模的数据仓库和分析优化。可以去www.infobright.org下载开源社区版。它的安装非常简单：解开了下载的gz包后，直接运行install-infobright.sh就ok了，在redhat5下安装基本没有遇到任何麻烦。

2015-02-10 11:12:23 1183

转载 infobright中导入数据避免特殊字符问题

目前在用的是社区版的infobright，不支持DML功能，只能用LOAD DATA方式导入数据。如果元数据中有特殊控制字符，导入过程中经常会报错，很是恼火。应对策略有两种方法：设置Reject File导入之前，设定 @BH_REJECT_FILE_PATH 和 @BH_ABORT_ON_COUNT 就可以忽略多少条导入失败的记录，并且将这些记录保存在指定文件/*

2015-02-10 10:58:54 880

转载 hive左半连接

执行以下语句，左半连接用来代替in操作或者exists操作的select * from user left semi join job on user.id=job.user_id;结果如下该语句相当于如下语句select * from user where id in (select user_id from job);但是，h

2015-02-09 09:44:09 3250

原创 java路径的读取

读取java项目文件如src文件下有一个a.txt文件，那么路径为"src/a.txt"。注意为“/”读取磁盘路径上的文件如"G:\\1.txt"

2015-02-04 11:48:03 550

转载 Hive UDAF开发

Hive进行UDAF开发，相对要比UDF复杂一些，不过也不是很难。请看一个例子package org.hrj.hive.udf;import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;import org.apache.hadoop.hive.serde2.io.DoubleWritable; public

2015-02-04 11:25:59 980 1

转载 Hive UDF开发

Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。Hive的UDF开发只需要重构UDF类的evaluate函数即可。例：package com.hrj.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class hell

2015-02-04 11:25:15 557

转载 Linux中变量$#,$@,$0,$1,$2,$*,$$,$?的含义

我们先写一个简单的脚本，执行以后再解释各个变量的意义 # touch variable# vi variable 脚本内容如下： #!/bin/shecho "number:$#"echo "scname:$0"echo "first :$1"echo "second:$2"echo "argume:$@"echo "show parm li

2015-02-03 13:18:21 402

转载如何调优JVM - 优化Java虚拟机（大全+实例）

堆设置-Xmx3550m：设置JVM最大堆内存为3550M。 -Xms3550m：设置JVM初始堆内存为3550M。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存。 -Xss128k：设置每个线程的栈大小。JDK5.0以后每个线程栈大小为1M，之前每个线程栈大小为256K。应当根据应用的线程所需内存大小进行调整。在相同物理内存下，减小这个值能生成更多的

2015-02-03 09:45:42 453

转载 context.progress()的作用

假设在map()方法中，你有一个从数据库读取大量数据的操作，是用一个循环来完成的，并且，在读完全部的数据之前，你不会有任何的数据输出（纯读），那么，读完全部数据所需的时间可能很长，一直没有输出的话，这个task就会因为超时被杀掉，为了避免这个问题，可在以读取数据的循环中使用context.progress()方法来报告进度，那么该task就会被认为还活着，从而解决超时问题。

2015-02-02 14:48:09 1610

转载 JAVA CP命令

java -cp .;c:\dir1\lib.jar Test -cp 和 -classpath 一样，是指定类运行所依赖其他类的路径，通常是类库，jar包之类，需要全路径到jar包，window上分号“;” 分隔，linux上是分号“:”分隔。不支持通配符，需要列出所有jar包，用一点“.”代表当前路径。虽然现在都有eclipse之类的IDE了，但有时候后会手

2015-02-02 12:10:20 1095

原创 java读取URL指定的网页内容

URL url = new URL("http://www.gov.cn/guowuyuan/2015-01/30/content_2812665.htm"); //打开到此 URL 的连接并返回一个用于从该连接读入的 InputStream。 Reader reader=new InputStreamReader(new BufferedInp

2015-02-01 13:33:13 2494

美团-机器学习-实践_最新AI算法实践真知人工智能技术正以一种超快的速度深刻地改变着我们的生活，引导了第四次工业革命。美团作为国内O2O领域领先的服务平台，结合自身的业务场景和数据，积极进行了人工智能领域的应用探索。在美团的搜索、推荐、计算广告、风控、图像处理等领域，相关的人工智能技术得到广泛的应用。本书包括通用流程、数据挖掘、搜索和推荐、计算广告、深度学习以及算法工程6大部分内容，全面介绍了美团在多个重要方面对机器学习的应用。本书非常适合有一定机器学习基础的工程技术人员和在校大学生学习和阅读。通过本书，有经验的算法工程师可以了解美团在这方面的做法，在校大学生可以学习机器学习算法如何在具体的业务场景中落地。

2018-11-22

elasticsearch-the-definitive-guide-cn

elasticsearch-the-definitive-guide-cn Elasticsearch权威指南(中文版)

2018-08-22

hive调优总结文档-hive tuning ppt

hive调优总结，网络上分享的hive常见优化细节，join、shuffle优化等等。很不错

2018-08-22

漫谈设计模式

《漫谈设计模式:从面向对象开始》内容简介：模式引入计算机科学领域已经有20余年了，最初人们侧重于面向对象的设计，而现在已经应用于计算机领域的各个方面，它们对计算机产生了深远影响。若想一本书涵盖所有模式，那么《漫谈设计模式:从面向对象开始》将会非常庞大，以前的设计模式书籍专注于介绍设计模式，虽然读者了解了这些设计模式，但是仍然不知道如何合理地使用它们，往往导致读者为了使用设计模式而设计，而不是从问题出发，使用设计模式优雅地解决这些问题。《漫谈设计模式:从面向对象开始》主要从最基本的设计模式入手，并结合一些J2EE开发过程经常遇见的技术和概念，你将全面理解这10多个设计模式，并在开发过程中，让你真正体会和思考面向对象编程的思想，也只有掌握这些，你才会能成为一位真正的设计专家。《漫谈设计模式:从面向对象开始》不是一本面向对象和Java语言的入门书籍，阅读对象主要是从事Java语言的软件开发人员但不限于Java语言的开发人员。

2013-11-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人