jo_joo的博客

group by ...having1.select 后面非聚合列必须出现在group by 中2.除了普通的列就是一些聚合操作3.group by 后面可以跟表达式,比如substr(col)4.group by 使用了reduce操作,受限于reduce数量,设置reduce参数mapred.reduce.task改变reduce数量(hive-0.13)set mapreduce.j...

表属性操作修改表名create table if not exists testchange(name string,value string);alter table testchange rename to a2;增加列(默认添加到最后)alter table tablename add columns(c1 string,c2 long);alter table a2 add ...

hive 数据导出1.hadoop命令的方式gethadoop fs -get path localPathtext(可以对多种不同格式进行操作,相当于输出流改成了text)hadoop fs -text path > e2.txt2.通过insert...directory方式insert overwrite local directory 'path' row format...

hive执行命令的方式hive -e "hql" 命令行执行hsqlhive -e "select * from mydb2.c1"hive -S 静默模式,控制台不输出Logging信息hive -S -e "select * from mydb2.c1"hive -v 详细模式,会把执行的sql打印出来hive -v -e "select * from mydb2.c1"hive...

6.查询简单查询配置:set hive.fetch.task.conversion=more;/hive --hiveconf hive.fetch.task.conversion=more;/修改hive-site.xml文件;函数nvl(x,0)不为空的则为0当有值为空时的判断 is null/is not nullHQL严格区分字符大小写：select * from view_stu...

1.分区表create table sample_data(id int,name string,gender string,x int,y int,z int)row format delimited fields terminated by','load data inpath '/student/sampleData.txt' into table sample_data;cr...

1.创建库create database if not exists mydb;添加注释create database if not exists mydb2comment 'this is test database';查看注释describe database mydb2;删除库drop database if exists mydb2;(库中没有表的情况)drop data...

Elasticsearch2.3.4+elasticsearch-jdbc-2.3.4.1同步oracle数据及简单调优

已经搭建好的zookeeper集群下载kafka_2.11-0.10.0.1.tgztar -zxvf kafka_2.11-0.10.0.1.tgzmv kafka_2.11-0.10.0.1 kafka进入目录cd kafka/config修改配置文件vim server.propertiesbroker.id=1listeners=PLAI

elasticsearch2.4.3一些基本操作import org.elasticsearch.client.Client;import org.elasticsearch.client.transport.TransportClient;import org.elasticsearch.common.settings.Settings;import org.elasticsearch.comm

需要导入poi-3.15.jarimport org.apache.poi.hssf.usermodel.HSSFCell;import org.apache.poi.hssf.usermodel.HSSFRow;import org.apache.poi.hssf.usermodel.HSSFSheet;import org.apache.poi.hssf.usermodel.HSSF

需要导入ganymed-ssh2-build210.jarimport ch.ethz.ssh2.Connection;import ch.ethz.ssh2.SCPClient;import java.io.IOException;/** * Created by Administrator on 2017/6/29. */public class testScp {

sqoop安装官网下载sqoop-1.4.6.bin__hadoop-0.23.tar.gztar -xzvf sqoop-1.4.6.bin__hadoop-0.23.tar.gz设置环境变量 export HADOOP_COMMON_HOME=/home/spark/opt/hadoop-2.7(用来指明hadoop安装在哪个目录下)export HADOOP_MA

ANSJ 5.0.2这是一个基于n-Gram+CRF+HMM的中文分词的java实现.分词速度达到每秒钟大约200万字左右（mac air下测试），准确率能达到96%以上目前实现了.中文分词. 中文姓名识别 . 用户自定义词典,关键字提取，自动摘要，关键字标记等功能可以应用到自然语言处理等方面,适用于对分词效果要求高的各种项目.下载地址 ：http://maven.nlpc