自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

ASIN的专栏

BW-- SP+++

  • 博客(20)
  • 资源 (3)
  • 收藏
  • 关注

原创 推荐几款JS日历控件

概述主要有三种实现方式:AngularJS,JQuery,JS。实现方式AngularJS实现UI Bootstrap 中,提供日期选择的指令有ui.bootstrap.datepicker和ui.bootstrap.datepickerPopup。在 AngularJS MODULES上搜索tag为”calendar”的module。搜索结果中排名最靠前的是AngularJS datepick

2016-06-30 23:20:52 9744

原创 关于JS对象的一些小问题

输出所有的key和value我们经常需要获取一个js对象的所有key和value,此时使用Object.keys(obj)和Object.values(obj)即可,如下所示var obj = new Object();obj.file = "/user/test";obj.size = "1024";console.log(Object.keys(obj)) //输出keys--["fil

2016-06-30 00:24:29 469

原创 JS中的JSON

JSON简介见JSON官网。 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。 易于人阅读和编写。同时也易于机器解析和生成。 它基于JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一个子集。 JSON采用完全独立于语言的文本格式,但是也使用了

2016-06-29 23:43:53 472

原创 PostgreSQL问题解决--连接失败

问题在pgAdmin中,将本地数据库连接的host由localhost或127.0.0.1改为自己的真实ip–10.xxx.xxx.xxx后,连接失败,报错如下:psql: could not connect to server: Connection refused Is the server running on host "my host name" (IP) and accepting

2016-06-26 17:22:13 77729 5

原创 使用Docker安装HUE

官方文档Getting started with Hue in 1 minute with DockerGitHub–HUE–Docker安装步骤首先确保安装Docker,参见Docker及Docker管理器的安装.md。从Docker Hub获取镜像sudo docker pull gethue/hue:latest编译镜像cd tools/docker/hue-basesudo doc

2016-06-26 16:38:52 6831

原创 Docker及Docker管理器的安装

Docker的安装主要链接Docker官网Docker DocumentationGitHub地址安装参考官方文档—Docker for Linux包含了各种linux版本下docker的安装方法。我用的是Fedora21,故直接执行sudo yum install docker即可,Fedora22下的安装见官方文档—installation-fedora。错误汇总使用docker运行容器

2016-06-26 15:51:36 5960

原创 Flume监控及参数调优

flume监控在flume传输数据的过程中,打开监控,查看CPU、内存等的变化情况也挺有意思的,见JConsole&VisualVM监控总结 。另外,当报的错莫名奇妙时,可以尝试调整参数,监控不同效果,往往能快速确定最佳参数,解决问题。flume各部分参数含义batchData的大小见参数:batchSizePutList和TakeList的大小见参数:transactionCapactiyC

2016-06-25 22:42:08 8960

原创 JConsole&VisualVM监控总结

简介JConsole(以下写作jconsole),VisualVM(以下写作jvisualvm ) 都是比较好的JVM调优工具,且都属于JDK自带工具,可在命令行直接启动。应用示例Server端(需要监控的主机)配置设置临时JAVA参数export JAVA_OPTS="-Dcom.sun.management.jmxremote.port=<port> -Dcom.sun.management

2016-06-25 21:14:09 8104

原创 PostgreSQL将查询结果输出到新表

方式1–新建表后插入查询结果通过CREATE TABLE新建表通过INSERT将查询结果插入到新表INSERT INTO films SELECT * FROM tmp_films WHERE date_prod < '2004-05-07';方式2–生成新表时同时填充查询结果命令:CREATE TABLE AS:从一条查询的结果中定义一个新表示例:创建一个只包含表films中最近的记录的新

2016-06-19 19:52:04 18823

原创 解决HBase中snappy出错

错误说明最近使用hbase shell时,报错ERROR: org.apache.hadoop.hbase.DoNotRetryIOException: Compression algorithm 'snappy' previously failed test.官网解释参照官方文档的Install Snappy Support小节, HBase does not ship with Snappy

2016-06-10 20:22:02 11256 1

原创 Dr.Elephant在CDH上的部署

续Dr.Elephant的安装及使用 。Dr.Elephant在CDH上的部署将之前编译好的文件部署到CDH集群上,步骤如下,传输包 在Cloudera Manager界面查看JobHistory Server所在的主机,比如为lyhadoop4.com。 将之前编译好的文件传输到该主机上(不确定安装到其余主机能不能正常运行)。安装mysql 参见 linux下安装及启动mysql 。进入

2016-06-10 00:53:36 2204

原创 Dr.Elephant的安装及使用

简介参见LinkedIn开源Dr.elephant。 “大象医生”是LinkedIn推出的一款Hadoop和Spark性能调节工具。根据LinkedIn软件工程师Akshay Rai在其微博中的介绍,这款工具将更好的帮助用户理解、分析并提高他们的工作效率。安装要点1. 安装 Play framework最新的Play Framework的执行命令为activator,并而不是play。故需安装

2016-06-10 00:31:56 3155

原创 Yarn作业信息的获取

方式1–查看作业记录文件CDH中,在HDFS的/user/history/done目录下,包含了全部已完成的MR作业,done_intermediate包含了全部正在进行的作业。方式2–REST APIHadoop YARN - Introduction to the web services REST API’s通过一个示例作业的完整运行过程,介绍了其所用到的全部REST API,包括MapRe

2016-06-09 23:59:26 10041

原创 Spark作业信息的获取

提前说明本文仅讨论运行在Yarn模式下作业信息的获取,至于获取其它模式下的作业信息,请见参考博文1。官方文档见Spark1.6.1–Monitoring and Instrumentation。作业信息的查看正在运行作业一般作业运行后,可打开http://<driver-node>:4040查看正在运行作业的情形,如下所示, 历史作业查看打开spark-defaults.conf文件,增加如

2016-06-09 22:26:11 8531

原创 Spark-SQL--Thrift的安装及使用

安装及使用配置hive-site.xml 在Spark-SQL的安装及使用.md的基础上,继续对hive-site.xml进行配置,如下<?xml version="1.0" encoding="UTF-8"?><!--Autogenerated by Cloudera Manager--><configuration> <property> <name>hive.metasto

2016-06-09 15:39:54 5948

原创 Spark-SQL的安装及使用

安装步骤下载编译了Hive的Spark版本 官网下载链接给出的都是编译过Hive的(至少1.6版可以确定是)。CDH自带的Spark都是没有带Hive的,若直接运行./spark-sql,会报错如下Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.cli.CliDriver at java.net.URLCl

2016-06-09 15:24:48 9480

原创 CentOS下安装Mysql记录

安装环境系统: CentOS6 64位安装步骤开始通过命令sudo yum install mysql-server安装后,使用mysql --version查看版本,为 5.1.73。因为要安装5.6版,故卸载5.1版,下载本地包重新安装,如下所示# rpm -ivh MySQL-server-5.6.15-1.el6.i686.rpm# rpm -ivh MySQL-client-5.6.

2016-06-06 22:33:21 1090

原创 关于WebHDFS与HttpFS

简介两者都是基于REST的HDFS API,使得一个集群外的host可以不用安装HADOOP和JAVA环境就可以对集群内的HADOOP进行访问,并且client不受语言的限制。WebHDFS是HDFS内置的、默认开启的一个服务,而HttpFS是HDFS一个独立的服务,若使用需要配置并手动开启。 WebHDFS是HortonWorks开发的,然后捐给了Apache;而HttpFS是Clouder

2016-06-05 20:00:27 13579 1

原创 详解--访问HDFS的几种方式

命令行访问hadoop fs -cat /user/hdfs/test_hadoop/data-256M采用上述命令查看文件时,依据hadoop的文件访问策略,hadoop会将距离该节点最近的备份传输过来。若上述文件的其中一个备份存在dn6上,在dn5上运行如上命令,则dn5和dn6的网络IO会增高,同时dn5的硬盘IO会增大,如下所示: 注意:若使用命令hadoop fs -ls /hdfs/t

2016-06-05 19:50:35 20331

原创 客户端访问https站点(自定义证书)--续

续之前的博文–客户端访问https站点(自定义证书)。上述博文中,将客户端访问Https Server分为了三种方式:浏览器方式 终端方式 java 程序但除此之外,还有一种特殊的方式是Client端是一个用Glassfish部署的应用,这种情况下不仅需要将Server的证书导入到JDK中,还需将该证书导入到Glassfish安装目录下的config/cacerts.jks文件中。实际上,在

2016-06-05 19:14:43 633

zeal-0.2.1-1.fc21.x86_64.rpm

编译好的zeal包,在fedora21下可正常运行,也可用于Centos系统。

2016-04-07

AdventureWorks+sql+server+2005示例数据库

不知道为什么这么难找,所以找到后马上共享。

2016-01-29

mahout-examples-0.9-job.jar(修改版)

重新编译mahout-examples-0.9-job.jar,增加分类指标:最小最大精度、召回率。详情见http://blog.csdn.net/u012948976/article/details/50203249

2015-12-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除