qq_28429443的博客

一、查询执行最慢的sqlselect *from(selectsa.SQL_TEXT,sa.SQL_FULLTEXT,sa.EXECUTIONS"执行次数",round(sa.ELAPSED_TIME / 1000000, 2)“总执行时间”,round(sa.ELAPSED_TIME / 1000000 / sa.EXECUTIONS, 2)“平均执行时间”,sa.COMMAND_...

输出日志到log文件中nohup sh test.sh>history.log 2>&1 &

hbase 查询通用shell命令(>=意思为包含，=意思是等于)1.按family（列族）查找，取回所有符合条件的“family”：scan ‘scores’, {FILTER => “FamilyFilter(<=,‘binary:grc’)”}或者scan ‘scores’, {FILTER => “FamilyFilter(<=,‘binary:g...

1.1.1 新建一个项目1.1.1.1 由顶部菜单栏进入Query页面，然后点击左上角的加号按钮新建一个project。1.1.1.2 选择自己要定义的项目名1.1.1.3 创建成功后会出现成功的弹窗通过以上的步骤一个新的project创建成功。1.1.2 同步一张表1.1.2.1 选择自己新建的项目名1.1.2.2 导入需要的数据库表在这里运用到的是hive作为数据源...

Azkaban用户操作手册目录环境搭建 21.1 安装准备 21.1.1 环境准备 21.1.2下载镜像 21.1.3 编译tar包 31.1.4 拷贝压缩包到/opt目录上 31.1.5 解压缩 31.1.6 数据库安装 31.1.7 数据库配置(mysql) 31.2 solo模式搭建 41.2.1 修改配置参数 41.2.2 solo模式启动 41.3 集群...

1.先找maven projects，然后在项目的目录进行clean,然后在install。把打包上来的程序放到服务器上。然后在执行（在本地执行local）/usr/hdp/2.6.0.3-8/spark2/bin/spark-submit –master local –class cn.com.zoesoft.bigdata.ihr.brain.tool.tags.Hypertensio...

1.先在系统中建一个txt文件；vi test.txt然后在test文件中添加要执行的hbase shell语句truncate testexit（hbase 命令执行后不会自动退出，所以执行exit 这个命令强制退出）2.新建一个.sh文件vi test.sh然后在.sh文件中写入hbase shell /root/test/test.txt（后面的地址要详细的文件地址）然后...

sqoop在抽取数据到hive上的时候首先要建立hive内部表hive 启动命令：$HIVE_HOME/bin/hivehive 退出命令：quit;hive 创建hbase内部表：其中sehr是创建表时的表空间。create table sehr.outpatient(last_update_dtime string,org_code st...

jdbc:oracle:thin:@//192.168.3.94/xmhealthy 指的是数据库 jdbc连接的IP和数据库实例名username cmmi --password cmmi 指的是数据库的用户名和密码query " " 中间是oracle数据库查询语句where 1 = 1 因为抽取语句中有and出现 而oracle查询语句 没有where 条件存在的话就要写上 w...

hive 启动命令：$HIVE_HOME/bin/hivehive 创建hbase外部表：ihr_pes为hive表名：CREATE EXTERNAL TABLE ihr_pes(id string comment “hbase rowkey”,identity_no string comment “身份证号”,org_code string comment “医院编号”,patie...

复制索引数据到另外一个索引中：POST _reindex{“source”: {“index”: “ihr-baseinfo”},“dest”: {“index”: “songmingqi-test”}}删除索引中全部数据：POST songmingqi-test/baseinfo/_delete_by_query?conflicts=proceed{“query”: {...

测试用例用了springboot 框架了spring-data-elasticsearch框架。有感兴趣的可以写一下实体类@JsonIgnoreProperties(ignoreUnknown = true)@Document(indexName = “test-smq”, type = “test”, refreshInterval = “1s”, createIndex = false)...

最近在搞大数据的时候，遇到一个案例。之前的一些数据是设置死的。现在要改成动态读取es上的数据，然后在进行处理，就写了这么一个读取elasticsearch索引数据的例子object SparkReadFromES {def main(args: Array[String]): Unit = {val conf = new SparkConf().setAppName("DecisionTre...

hbase建表：create 'test:medication', {NAME=&amp;amp;amp;amp;gt;'p'}其中test是表空间，hbase表名是medication，列族是p添加数据： put 'test:medication','2','p:ICD_CODE','B23'向hbase中添加数据，rowkey是2查询前几条数据：scan 'test:medication',{LIMIT=...

1，编写FlumePushWordCount运行程序，启动监听端口88662. cd /usr/share/flume,编写脚本其中，在/usr/data.txt是一个空文件写脚本data.sh然后先运行flume-ng agent -c conf -f conf/flumesparktest.conf -n agent -Dflume.root.logger=INFO,con...

spark读取hbase中的数据，做数据处理后，利用插件写入到hbase中package cn.com.zoesoft.bigdata.ihr.brain.tool.infectiousimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.hbase.client.Resultimport org...

Phoenix + SQuirreL基本使用概述Phoenix是对HBase的扩展。目标是使用SQL操作HBase，包括DDL、DML、DQL等,Phoenix不仅能够使用SQL语句操作HBase，而且支持Join等高级特性。SQuirreL是一个SQL客户端，类似于Navicat，但它支持的协议比Navicat多得多，而且可以提供驱动扩展，Phoenix为HBase提供了SQuirreL插...

Hadoop集群安装概述集群cluster，将很多任务进程分布到多台计算机上；通过联合使用多台计算机的存储、计算能力完成更庞大的任务。为了实现无限量的存储和计算能力，在生产环境中必须使用集群来满足需求。总体步骤基本步骤安装JDK，配置JDK环境变量安装Hadoop，配置Hadoop环境变量，配置Hadoop组织并在集群中分发文件注意：如果使用克隆方案，克隆后需修改主机名及IP...

打开cmd，然后执行下面语句exp seh（用户名）/”“”Ipp@sscryp（密码）”“”@SMJK（实例名） file=C:\Users\Administrator\Desktop\daochu\sehr_xman_ehr_3 tables（导出的位置）=(sehr_xman_ehr_3（要导出的表名）) query=\”where xman_id in ()\”（括号内是条件）...

根据oracle数据库中的主键确定重复的数据有哪些select XMAN_ID, EVENT, CATALOG_CODE, SERIAL（主键字段名） from sehr_xman_ehr_2（表名）GROUP BY XMAN_ID, EVENT, CATALOG_CODE, SERIAL（主键字段名） having count(*)&amp;amp;amp;gt;1;查询到有重复的数据就可以按照字段删...