- 博客(20)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 推荐几款JS日历控件
概述主要有三种实现方式：AngularJS，JQuery，JS。实现方式AngularJS实现UI Bootstrap 中，提供日期选择的指令有ui.bootstrap.datepicker和ui.bootstrap.datepickerPopup。在 AngularJS MODULES上搜索tag为”calendar”的module。搜索结果中排名最靠前的是AngularJS datepick
2016-06-30 23:20:52
9744
原创 关于JS对象的一些小问题
输出所有的key和value我们经常需要获取一个js对象的所有key和value，此时使用Object.keys(obj)和Object.values(obj)即可，如下所示var obj = new Object();obj.file = "/user/test";obj.size = "1024";console.log(Object.keys(obj)) //输出keys--["fil
2016-06-30 00:24:29
469
原创 JS中的JSON
JSON简介见JSON官网。 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。 易于人阅读和编写。同时也易于机器解析和生成。 它基于JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一个子集。 JSON采用完全独立于语言的文本格式，但是也使用了
2016-06-29 23:43:53
472
原创 PostgreSQL问题解决--连接失败
问题在pgAdmin中，将本地数据库连接的host由localhost或127.0.0.1改为自己的真实ip–10.xxx.xxx.xxx后，连接失败，报错如下：psql: could not connect to server: Connection refused Is the server running on host "my host name" (IP) and accepting
2016-06-26 17:22:13
77729
5
原创 使用Docker安装HUE
官方文档Getting started with Hue in 1 minute with DockerGitHub–HUE–Docker安装步骤首先确保安装Docker，参见Docker及Docker管理器的安装.md。从Docker Hub获取镜像sudo docker pull gethue/hue:latest编译镜像cd tools/docker/hue-basesudo doc
2016-06-26 16:38:52
6831
原创 Docker及Docker管理器的安装
Docker的安装主要链接Docker官网Docker DocumentationGitHub地址安装参考官方文档—Docker for Linux包含了各种linux版本下docker的安装方法。我用的是Fedora21，故直接执行sudo yum install docker即可，Fedora22下的安装见官方文档—installation-fedora。错误汇总使用docker运行容器
2016-06-26 15:51:36
5960
原创 Flume监控及参数调优
flume监控在flume传输数据的过程中，打开监控，查看CPU、内存等的变化情况也挺有意思的，见JConsole&VisualVM监控总结 。另外，当报的错莫名奇妙时，可以尝试调整参数，监控不同效果，往往能快速确定最佳参数，解决问题。flume各部分参数含义batchData的大小见参数：batchSizePutList和TakeList的大小见参数：transactionCapactiyC
2016-06-25 22:42:08
8960
原创 JConsole&VisualVM监控总结
简介JConsole（以下写作jconsole），VisualVM（以下写作jvisualvm ） 都是比较好的JVM调优工具，且都属于JDK自带工具，可在命令行直接启动。应用示例Server端（需要监控的主机）配置设置临时JAVA参数export JAVA_OPTS="-Dcom.sun.management.jmxremote.port=<port> -Dcom.sun.management
2016-06-25 21:14:09
8104
原创 PostgreSQL将查询结果输出到新表
方式1–新建表后插入查询结果通过CREATE TABLE新建表通过INSERT将查询结果插入到新表INSERT INTO films SELECT * FROM tmp_films WHERE date_prod < '2004-05-07';方式2–生成新表时同时填充查询结果命令:CREATE TABLE AS:从一条查询的结果中定义一个新表示例:创建一个只包含表films中最近的记录的新
2016-06-19 19:52:04
18823
原创 解决HBase中snappy出错
错误说明最近使用hbase shell时，报错ERROR: org.apache.hadoop.hbase.DoNotRetryIOException: Compression algorithm 'snappy' previously failed test.官网解释参照官方文档的Install Snappy Support小节， HBase does not ship with Snappy
2016-06-10 20:22:02
11256
1
原创 Dr.Elephant在CDH上的部署
续Dr.Elephant的安装及使用 。Dr.Elephant在CDH上的部署将之前编译好的文件部署到CDH集群上，步骤如下，传输包 在Cloudera Manager界面查看JobHistory Server所在的主机，比如为lyhadoop4.com。 将之前编译好的文件传输到该主机上（不确定安装到其余主机能不能正常运行）。安装mysql 参见 linux下安装及启动mysql 。进入
2016-06-10 00:53:36
2204
原创 Dr.Elephant的安装及使用
简介参见LinkedIn开源Dr.elephant。 “大象医生”是LinkedIn推出的一款Hadoop和Spark性能调节工具。根据LinkedIn软件工程师Akshay Rai在其微博中的介绍，这款工具将更好的帮助用户理解、分析并提高他们的工作效率。安装要点1. 安装 Play framework最新的Play Framework的执行命令为activator，并而不是play。故需安装
2016-06-10 00:31:56
3155
原创 Yarn作业信息的获取
方式1–查看作业记录文件CDH中，在HDFS的/user/history/done目录下，包含了全部已完成的MR作业，done_intermediate包含了全部正在进行的作业。方式2–REST APIHadoop YARN - Introduction to the web services REST API’s通过一个示例作业的完整运行过程，介绍了其所用到的全部REST API，包括MapRe
2016-06-09 23:59:26
10041
原创 Spark作业信息的获取
提前说明本文仅讨论运行在Yarn模式下作业信息的获取，至于获取其它模式下的作业信息，请见参考博文1。官方文档见Spark1.6.1–Monitoring and Instrumentation。作业信息的查看正在运行作业一般作业运行后，可打开http://<driver-node>:4040查看正在运行作业的情形，如下所示， 历史作业查看打开spark-defaults.conf文件，增加如
2016-06-09 22:26:11
8531
原创 Spark-SQL--Thrift的安装及使用
安装及使用配置hive-site.xml 在Spark-SQL的安装及使用.md的基础上，继续对hive-site.xml进行配置，如下<?xml version="1.0" encoding="UTF-8"?><!--Autogenerated by Cloudera Manager--><configuration> <property> <name>hive.metasto
2016-06-09 15:39:54
5948
原创 Spark-SQL的安装及使用
安装步骤下载编译了Hive的Spark版本 官网下载链接给出的都是编译过Hive的（至少1.6版可以确定是）。CDH自带的Spark都是没有带Hive的，若直接运行./spark-sql，会报错如下Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.cli.CliDriver at java.net.URLCl
2016-06-09 15:24:48
9480
原创 CentOS下安装Mysql记录
安装环境系统: CentOS6 64位安装步骤开始通过命令sudo yum install mysql-server安装后，使用mysql --version查看版本，为 5.1.73。因为要安装5.6版，故卸载5.1版，下载本地包重新安装，如下所示# rpm -ivh MySQL-server-5.6.15-1.el6.i686.rpm# rpm -ivh MySQL-client-5.6.
2016-06-06 22:33:21
1090
原创 关于WebHDFS与HttpFS
简介两者都是基于REST的HDFS API，使得一个集群外的host可以不用安装HADOOP和JAVA环境就可以对集群内的HADOOP进行访问，并且client不受语言的限制。WebHDFS是HDFS内置的、默认开启的一个服务，而HttpFS是HDFS一个独立的服务，若使用需要配置并手动开启。 WebHDFS是HortonWorks开发的，然后捐给了Apache；而HttpFS是Clouder
2016-06-05 20:00:27
13579
1
原创 详解--访问HDFS的几种方式
命令行访问hadoop fs -cat /user/hdfs/test_hadoop/data-256M采用上述命令查看文件时，依据hadoop的文件访问策略，hadoop会将距离该节点最近的备份传输过来。若上述文件的其中一个备份存在dn6上，在dn5上运行如上命令，则dn5和dn6的网络IO会增高，同时dn5的硬盘IO会增大，如下所示： 注意：若使用命令hadoop fs -ls /hdfs/t
2016-06-05 19:50:35
20331
原创 客户端访问https站点（自定义证书）--续
续之前的博文–客户端访问https站点（自定义证书）。上述博文中，将客户端访问Https Server分为了三种方式：浏览器方式 终端方式 java 程序但除此之外，还有一种特殊的方式是Client端是一个用Glassfish部署的应用，这种情况下不仅需要将Server的证书导入到JDK中，还需将该证书导入到Glassfish安装目录下的config/cacerts.jks文件中。实际上，在
2016-06-05 19:14:43
633
mahout-examples-0.9-job.jar（修改版）
2015-12-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人