- 博客(19)
- 资源 (2)
- 收藏
- 关注
原创 利用JS的D3库实现直方图
D3(Data-Driven Documents)是一个用动态图形显示数据的JavaScript库,一个数据可视化的工具。下面我们用D3 实现了可排序的直方图。 body { font-family: "Helvetica Neue", Helvetica, Arial, sans-serif; position: relative; width: 96
2015-06-12 18:12:57 2799
翻译 在Fedora18上配置个人的Hadoop开发环境
在Fedora18上配置个人的Hadoop开发环境1. 背景文章中讲述了类似于“personalcondor”的一种“personal hadoop” 配置法。主要的目的是配置文件和日志文件有一个单一的源,可以用软连接到开发生成的二进制库,这样就可以在所生成二进制库更新的时候维护其他的数据和配置项。2. 用户案例1. 比较不用改变现有系统中安装软件的情
2014-10-28 17:54:50 1093
原创 64位centos上用ganglia-3.6.0监控hadoop-2.2.0集群
64位centos上用ganglia-3.6.0监控hadoop-2.2.0集群参考:https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Power%20Systems/page/Ganglia http://blog.csdn.net/iAm333/article/details/16358
2014-09-12 09:21:04 2044
原创 sql中exists和in的比较
exists : 强调的是是否返回结果集,返回的结果只有两种值,要么为真要么为假.例如以下两个查询子句的查询效果是相同的,与select的字段没有关系。select id from test a where mark exists(select 1from test b where a.id=b.id);select id from test a where mark exists(s
2014-09-05 16:56:04 864
原创 用SSh完成shell中的远程命
在需要对集群中的每台机器进行操作时,每次用ssh登录完成操作后退出。这样的操作很麻烦,而且如果集群数量过大将会是一件很浪费时间的任务。通过用ssh本机上使用shell脚本处理将会方便很多。
2014-09-04 16:09:19 958
原创 Hadoop的内存配置
Hadoop的内存配置有两种方法:利用hadoop手动安装的帮助脚本;手动计算yarn和mapreduce内存大小进行配置;第一种方法:用wget命令从hortonworks上下载脚本Wget http://public-repo-1.hortonworks.com/HDP/tools/2.1.1.0/hdp_manual_install_rpm_helper_files-2.1.
2014-08-01 16:48:50 2095 2
转载 java synchronized详解
Java语言的关键字,当它用来修饰一个方法或者一个代码块的时候,能够保证在同一时刻最多只有一个线程执行该段代码。 一、当两个并发线程访问同一个对象object中的这个synchronized(this)同步代码块时,一个时间内只能有一个线程得到执行。另一个线程必须等待当前线程执行完这个代码块以后才能执行该代码块。 二、然而,当一个线程访问object的一个synchroni
2014-07-04 10:32:59 496
原创 Hive analyze命令解析
关于Hive analyze命令1. 命令用法: 表与分区的状态信息统计ANALYZE TABLE tablename [PARTITION(partcol1[=val1], partcol2[=val2], ...)]COMPUTE STATISTICS [noscan]; 列信息统计ANALYZE TABLE tablename [PARTITION(par
2014-04-29 21:38:33 25337
转载 数学之美番外篇:平凡而又神奇的贝叶斯方法
概率论只不过是把常识用数学公式表达了出来。——拉普拉斯记得读本科的时候,最喜欢到城里的计算机书店里面去闲逛,一逛就是好几个小时;有一次,在书店看到一本书,名叫贝叶斯方法。当时数学系的课程还没有学到概率统计。我心想,一个方法能够专门写出一本书来,肯定很牛逼。后来,我发现当初的那个朴素归纳推理成立了——这果然是个牛逼的方法。——题记0. 前言这是一篇关于贝叶
2014-04-24 09:16:03 714
原创 设计模式之-3-tier&MVC
3-tier(三层架构)三层架构(3-tier architecture)是一个分层式的软件体系架构设计。通常意义上的三层架构就是将整个业务应用划分为:表现层(UI)、业务逻辑层(BLL)、数据访问层(DAL)。区分层次的目的即为了“高内聚,低耦合”。1. 表现层(UI):通俗讲就是展现给用户的界面,即用户在使用一个系统的时候他的所见所得。 2. 业务逻辑
2014-04-03 21:22:40 1273
原创 云计算中的查询技术
l 云计算的到来主要产生立两个方面的技术:1. 海量数据的分析数据分析主要用于生产报表、数据挖掘和决策支持等;分析型数据特点:一次写,多次读,更新少2. 大规模web数据的管理 l 云数据查询技术解决的问题:1. 在云平台中保证一个云平台中所有节点的硬件配置同构是一件非常困难的,即使在一个硬件配置相同的环境中那个,不同节点的软件性能也会
2014-03-24 20:17:58 1229
转载 用sed替换跨行内容
sed是*nix下方便的行编辑工具,经常用来替换文件的内容,sed一般都是处理单行的,但通过它的一些内建功能,也能实现跨行替换(即要替换的内容有多行内容)。解决方法主要来自网上搜到的一篇文章,但文中的大侠并没有解释得特别清楚,我对照着其他两个更晦涩的例子(一、二),结合man搞懂了之后,记录于此。假设我们的目标文件test内容是这样的:file content aabbcc
2014-03-24 19:54:09 5106
原创 在CentOS 6.4 x86_64中Rhythmbox的解码器安装
Linux中的Rhythmbox音乐播放器,是没有自带MP3音乐解码器的,所以必须得自行安装相应的音乐或视频解码器。1.下载安装包# cd /tmp# wget# wget# rpm -ivh libid3tag-0.15.1b-7.el6.x86_64.rpm# rpm -ivh libid3tag-devel-0.15.1b-7.el6.x8
2014-03-20 21:20:52 1238
原创 centos6.4 64位下安装BCM43225无线网卡驱动
1.查看无线网卡型号#.lspi | grep Broadcom>>03:00.0 Network controller: Broadcom Corporation BCM43225 802.11b/g/n (rev 01)2.下载驱动http://www.broadcom.com/support/802.11/linux_sta.php3解压驱动压缩包操作并移动解压目录
2014-03-20 21:16:00 2352
原创 在Django 1.5 中 Django Step by Step (七)教程的修正
由于自己所用的dango版本是1.5的。所用在阅读教程《django step by step 》时发现很多程序都是不能运行的,以下记录了第七篇(一个通讯录的例子)的修正方法。修改前的address/models.py文件:#coding=utf-8from django.db import models# Create your models here.class Ad
2014-03-20 20:43:25 1137
原创 在Django 1.5 中 Django Step by Step (九)教程分页实现方法的修正
在此教程的分页方法已经在1.5版本中不再适用。当前版本的分页在urls配置时实现,其代码如下:[python]from django.conf.urls.defaults import *from newtest.address.models import Addressinfo_dict = {# 'model': Address, 'queryset': Addre
2014-03-20 20:25:53 719
原创 最长公共子序列&最长公共子串
最长公共子序列1、算法的定义最长公共子序列(LCS)问题是分别给出长度为i和j的字符串想X,Y,然后找出其中最长公共子序列的最优值和最优解。2、算法的理解1)由于最长公共子序列问题属于动态规划问题,所以在求解的时候需要对其分析相关的状态,总结出状态转移方程。逆向思维从结果到过程的思考分析。2)对于当前问题的状态分析如下 i.
2014-03-19 23:00:31 779
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人