ASIN的专栏

BW-- SP+++

Greenplum优化--SQL调优篇

目录 数据库查询预准备 VACUUM ANALYZE EXPLAIN执行计划 两种聚合方式 关联 重分布 查询优化 explain参数 选择合适分布键 分区表 压缩表 分组扩展 窗口函数 列存储和行存储 函数和存储过程 索引使用 [NOT IN](#NOT IN) 聚合函数太多 资源队列 其它...

2016-09-28 23:43:42

阅读数 25120

评论数 2

Cloudera Manager5.8.0离线安装记

目录 目录 安装说明 有关数据库配置 关于Oozie数据库配置 关于Hue数据库配置 附其他数据库的配置 错误解决 错误1CM Server启动出错 错误2CM Agent启动出错 错误3spark启动出错 附录 参考安装说明安装参考官方文档:Cloudera Enterprise 5.8.x D...

2016-08-21 23:57:42

阅读数 6721

评论数 0

markdown转为html及pdf

markdown转为htmlmarkdown转html比较容易些,有很多方法都可以做到。1. 通过markdown编辑器导出linux下常用的markdown编辑器有retext,haroopad等,这些软件都支持自定义css并导出html。以上软件的安装详见linux环境下Markdown编辑器...

2015-12-02 14:47:01

阅读数 10750

评论数 1

linux环境下Markdown编辑器汇总

Markdown编辑器汇总(Fedora21)1.geditgedit支持markdown语法高亮,不过不支持预览结果,gedit界面如附录图1所示。2. vim在vim中写markdown,首先安装语法高亮的插件--vim-markdown.至于预览,则有很多方式: 使用vim插件--vim-i...

2015-10-13 10:34:23

阅读数 19562

评论数 0

linux命令实现词频统计

问题给定示例文件test.txt如下,对第一列做词频统计并排序 。hello marry max thread hello lihua max apple max code nasa connection 解答切割并分组并排序,cat test.txt | cut -d ' ' -f1 | sor...

2017-03-10 18:58:55

阅读数 4922

评论数 1

图解linux链接

图解linux链接说明:基于f1,分别为其创建软硬链接f3、f2(使用到了ln命令),如下。分析 ln命令默认产生硬链接 f1删除后索引节点并不会删除,因为还有f2指向它,若所有指向索引节点的硬链接均删除,索引节点才会被释放。 f1删除后,f3会因找不到f1而失效 f3删除后,不会对f1、f2产生...

2017-03-10 17:08:41

阅读数 507

评论数 0

GP索引调优测试--原理篇

说明之前对Postgres/GP的索引测试见GP索引调优测试–基本篇.md和GP索引调优测试–排序篇,此文给出原理解释。原理建议先阅读“深入理解计算机系统(原书第2版)的第6章 存储器层次结构”,再了解B树,最后阅读数据库索引原理及优化,可以对索引的原理有很清楚的了解。这里给出使用索引和不使用索引...

2017-03-01 00:23:29

阅读数 1172

评论数 0

使用Solr完成自动补全(续)

说明–关于短语补全 使用Solr完成自动补全 主要介绍的是关键字补全。 实际上将下面的设置, "suggestion" type="text_spell" indexed="true" stored=&...

2016-11-20 19:24:58

阅读数 1400

评论数 1

HUE提交MapReduce作业示例

说明 操作步骤 步骤1新建MapReduce的action 步骤2填写配置  步骤3提交作业说明因为HUE也是通过Oozie的REST提交作业,故看过Oozie提交作业总结后,在HUE中提交作业变得相当简单。操作步骤步骤1–新建MapReduce的action步骤2–填写配置 图中所有的”Hado...

2016-11-19 23:18:12

阅读数 3175

评论数 0

Oozie提交作业总结

命令行方式最常用的就是通过命令行方式提交,见YARN和HDFS的调用方式汇总中的“使用oozie提交yarn作业环节。REST方式使用REST的方式显然更通用,当然原理与上述完全一致。步骤1–创建工作空间目录首先在HDFS上创建相应工作空间目录–/user/${user.name}/workspa...

2016-11-19 22:54:00

阅读数 3324

评论数 0

使用Solr完成自动补全

操作流程 创建目录 产生collection所需的配置文件 修改配置文件中的shemaxml和solrconfigxml 1 修改solrconfigxml 2 修改schemaxml 上传配置目录到ZooKeeper 创建新的collection 查看并导入数据 自动补全操作流程1. 创建目录...

2016-11-19 15:50:07

阅读数 3352

评论数 3

jQuery的highlight插件使用示例

使用步骤1. 加载js在head中加载jquery.js和jquery.highlight.js, <script src="./jquery-1.9.1/jquery.js"></script> <script sr...

2016-11-19 15:36:22

阅读数 3231

评论数 1

Solr性能调优

调整Java堆大小在导入比较大的csv文件的过程中,报错curl: (56) Recv failure: Connection reset by peer。在CDH中查看,发现solr崩了。。。重启solr,发现只传输了约 200M的数据。解决办法:调整参数Java Heap Size of So...

2016-11-16 22:37:37

阅读数 1431

评论数 2

Solr中的注意点

注意点1–注意重启 当修改了配置文件后,一定要重启Solr才能生效; 自动补全时,插入新数据后,一定要重新build,即勾选“spellcheck”及下面的“spellcheck.build”并执行即可,此时会对所有数据更新index。 注意点2–注意延迟有时候执行某些操作(比如新增/删除数据)后...

2016-11-16 22:33:54

阅读数 1053

评论数 1

Solr导入CSV文件

数据准备首先得准备好一份csv文件,这份文件可以是手动生成,也可以是从数据库中导出来的。参见PostgreSQL导入导出数据 ,将Postgres中的表导出为csv文件。数据上传上传csv文件示例,curl http://solr-server:8983/solr/your-collection/...

2016-11-16 22:21:57

阅读数 2264

评论数 1

HUE中集成Solr

说明 HUE中集成Solr 创建Dashboard 附录 关于HUE中的Solr 重点博文说明官方文档见Using Hue with Cloudera Search,但是该文章基本没有内容。要想完全理解,需要在HUE的官网上查找相关文章,见后面的附录。HUE中集成Solr为HUE配置Solr 服务...

2016-11-12 17:40:33

阅读数 2779

评论数 3

Solr安装及使用示例

Solr安装 初始化collection 为数据创建索引 运行查询 附加 错误解决翻译自Validating the Deployment with the Solr REST API,在小集群上进行如下步骤。Solr安装在Cloudera Manager Server的控制台界面,直接点击“Ad...

2016-11-12 16:56:50

阅读数 2556

评论数 1

编程常识

说明作为一名程序员,实在忍受不了听见别人发错音的尴尬,故在GItHub上发起项目–program-common-sense。当前计划包括IT单词正确发音,IT单词正确写法,编程野史三部分。欢迎大家多多fork!!!

2016-10-29 14:20:45

阅读数 763

评论数 0

PostgreSQL问题解决--连接数过多

错误描述用pgAdmin连接数据库时,提示Connection could not be allocated because: FATAL: sorry, too many clients already

2016-10-29 13:10:26

阅读数 12885

评论数 0

Spark的Notebook工具汇总

工具汇总当前Spark的Notebook工具主要有四个, Zeppelin 安装:Spark Interpreter for Apache Zeppelin Spark Notebook: 官网 HUE 安装:HUE配置Spark Notebook Jupyter: 安装: Jupyte...

2016-10-27 23:32:14

阅读数 3924

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭