- 博客(20)
- 资源 (3)
- 收藏
- 关注
原创 推荐几款JS日历控件
概述主要有三种实现方式:AngularJS,JQuery,JS。实现方式AngularJS实现UI Bootstrap 中,提供日期选择的指令有ui.bootstrap.datepicker和ui.bootstrap.datepickerPopup。在 AngularJS MODULES上搜索tag为”calendar”的module。搜索结果中排名最靠前的是AngularJS datepick
2016-06-30 23:20:52 9747
原创 关于JS对象的一些小问题
输出所有的key和value我们经常需要获取一个js对象的所有key和value,此时使用Object.keys(obj)和Object.values(obj)即可,如下所示var obj = new Object();obj.file = "/user/test";obj.size = "1024";console.log(Object.keys(obj)) //输出keys--["fil
2016-06-30 00:24:29 471
原创 JS中的JSON
JSON简介见JSON官网。 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。 易于人阅读和编写。同时也易于机器解析和生成。 它基于JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一个子集。 JSON采用完全独立于语言的文本格式,但是也使用了
2016-06-29 23:43:53 472
原创 PostgreSQL问题解决--连接失败
问题在pgAdmin中,将本地数据库连接的host由localhost或127.0.0.1改为自己的真实ip–10.xxx.xxx.xxx后,连接失败,报错如下:psql: could not connect to server: Connection refused Is the server running on host "my host name" (IP) and accepting
2016-06-26 17:22:13 77828 5
原创 使用Docker安装HUE
官方文档Getting started with Hue in 1 minute with DockerGitHub–HUE–Docker安装步骤首先确保安装Docker,参见Docker及Docker管理器的安装.md。从Docker Hub获取镜像sudo docker pull gethue/hue:latest编译镜像cd tools/docker/hue-basesudo doc
2016-06-26 16:38:52 6831
原创 Docker及Docker管理器的安装
Docker的安装主要链接Docker官网Docker DocumentationGitHub地址安装参考官方文档—Docker for Linux包含了各种linux版本下docker的安装方法。我用的是Fedora21,故直接执行sudo yum install docker即可,Fedora22下的安装见官方文档—installation-fedora。错误汇总使用docker运行容器
2016-06-26 15:51:36 5963
原创 Flume监控及参数调优
flume监控在flume传输数据的过程中,打开监控,查看CPU、内存等的变化情况也挺有意思的,见JConsole&VisualVM监控总结 。另外,当报的错莫名奇妙时,可以尝试调整参数,监控不同效果,往往能快速确定最佳参数,解决问题。flume各部分参数含义batchData的大小见参数:batchSizePutList和TakeList的大小见参数:transactionCapactiyC
2016-06-25 22:42:08 8963
原创 JConsole&VisualVM监控总结
简介JConsole(以下写作jconsole),VisualVM(以下写作jvisualvm ) 都是比较好的JVM调优工具,且都属于JDK自带工具,可在命令行直接启动。应用示例Server端(需要监控的主机)配置设置临时JAVA参数export JAVA_OPTS="-Dcom.sun.management.jmxremote.port=<port> -Dcom.sun.management
2016-06-25 21:14:09 8106
原创 PostgreSQL将查询结果输出到新表
方式1–新建表后插入查询结果通过CREATE TABLE新建表通过INSERT将查询结果插入到新表INSERT INTO films SELECT * FROM tmp_films WHERE date_prod < '2004-05-07';方式2–生成新表时同时填充查询结果命令:CREATE TABLE AS:从一条查询的结果中定义一个新表示例:创建一个只包含表films中最近的记录的新
2016-06-19 19:52:04 18844
原创 解决HBase中snappy出错
错误说明最近使用hbase shell时,报错ERROR: org.apache.hadoop.hbase.DoNotRetryIOException: Compression algorithm 'snappy' previously failed test.官网解释参照官方文档的Install Snappy Support小节, HBase does not ship with Snappy
2016-06-10 20:22:02 11266 1
原创 Dr.Elephant在CDH上的部署
续Dr.Elephant的安装及使用 。Dr.Elephant在CDH上的部署将之前编译好的文件部署到CDH集群上,步骤如下,传输包 在Cloudera Manager界面查看JobHistory Server所在的主机,比如为lyhadoop4.com。 将之前编译好的文件传输到该主机上(不确定安装到其余主机能不能正常运行)。安装mysql 参见 linux下安装及启动mysql 。进入
2016-06-10 00:53:36 2205
原创 Dr.Elephant的安装及使用
简介参见LinkedIn开源Dr.elephant。 “大象医生”是LinkedIn推出的一款Hadoop和Spark性能调节工具。根据LinkedIn软件工程师Akshay Rai在其微博中的介绍,这款工具将更好的帮助用户理解、分析并提高他们的工作效率。安装要点1. 安装 Play framework最新的Play Framework的执行命令为activator,并而不是play。故需安装
2016-06-10 00:31:56 3157
原创 Yarn作业信息的获取
方式1–查看作业记录文件CDH中,在HDFS的/user/history/done目录下,包含了全部已完成的MR作业,done_intermediate包含了全部正在进行的作业。方式2–REST APIHadoop YARN - Introduction to the web services REST API’s通过一个示例作业的完整运行过程,介绍了其所用到的全部REST API,包括MapRe
2016-06-09 23:59:26 10042
原创 Spark作业信息的获取
提前说明本文仅讨论运行在Yarn模式下作业信息的获取,至于获取其它模式下的作业信息,请见参考博文1。官方文档见Spark1.6.1–Monitoring and Instrumentation。作业信息的查看正在运行作业一般作业运行后,可打开http://<driver-node>:4040查看正在运行作业的情形,如下所示, 历史作业查看打开spark-defaults.conf文件,增加如
2016-06-09 22:26:11 8538
原创 Spark-SQL--Thrift的安装及使用
安装及使用配置hive-site.xml 在Spark-SQL的安装及使用.md的基础上,继续对hive-site.xml进行配置,如下<?xml version="1.0" encoding="UTF-8"?><!--Autogenerated by Cloudera Manager--><configuration> <property> <name>hive.metasto
2016-06-09 15:39:54 5948
原创 Spark-SQL的安装及使用
安装步骤下载编译了Hive的Spark版本 官网下载链接给出的都是编译过Hive的(至少1.6版可以确定是)。CDH自带的Spark都是没有带Hive的,若直接运行./spark-sql,会报错如下Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.cli.CliDriver at java.net.URLCl
2016-06-09 15:24:48 9482
原创 CentOS下安装Mysql记录
安装环境系统: CentOS6 64位安装步骤开始通过命令sudo yum install mysql-server安装后,使用mysql --version查看版本,为 5.1.73。因为要安装5.6版,故卸载5.1版,下载本地包重新安装,如下所示# rpm -ivh MySQL-server-5.6.15-1.el6.i686.rpm# rpm -ivh MySQL-client-5.6.
2016-06-06 22:33:21 1090
原创 关于WebHDFS与HttpFS
简介两者都是基于REST的HDFS API,使得一个集群外的host可以不用安装HADOOP和JAVA环境就可以对集群内的HADOOP进行访问,并且client不受语言的限制。WebHDFS是HDFS内置的、默认开启的一个服务,而HttpFS是HDFS一个独立的服务,若使用需要配置并手动开启。 WebHDFS是HortonWorks开发的,然后捐给了Apache;而HttpFS是Clouder
2016-06-05 20:00:27 13581 1
原创 详解--访问HDFS的几种方式
命令行访问hadoop fs -cat /user/hdfs/test_hadoop/data-256M采用上述命令查看文件时,依据hadoop的文件访问策略,hadoop会将距离该节点最近的备份传输过来。若上述文件的其中一个备份存在dn6上,在dn5上运行如上命令,则dn5和dn6的网络IO会增高,同时dn5的硬盘IO会增大,如下所示: 注意:若使用命令hadoop fs -ls /hdfs/t
2016-06-05 19:50:35 20337
原创 客户端访问https站点(自定义证书)--续
续之前的博文–客户端访问https站点(自定义证书)。上述博文中,将客户端访问Https Server分为了三种方式:浏览器方式 终端方式 java 程序但除此之外,还有一种特殊的方式是Client端是一个用Glassfish部署的应用,这种情况下不仅需要将Server的证书导入到JDK中,还需将该证书导入到Glassfish安装目录下的config/cacerts.jks文件中。实际上,在
2016-06-05 19:14:43 633
mahout-examples-0.9-job.jar(修改版)
2015-12-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人