- 博客(16)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 Hadoop、Spark、HBase与Redis的适用性讨论（全文）
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Redis等几个主流大数据技术的使用场景（首先声明一点，本文中所指的Hadoop，是很“狭义”的Hadoop，即在
2015-12-30 11:56:20
482
转载 django 快速搭建blog
转自 http://www.cnblogs.com/fnng/p/3737964.html（更正了其中的一些错误）如果本文看不懂的，去看的我视频吧！http://www.testpub.cn/------------------------------------------- Django 自称是“最适合开发有限期的完美WEB框架”。本文参考《Dja
2015-12-26 23:00:45
564
转载 CentOS上安裝設定JAVA環境
本文转自：http://easychen.pixnet.net/blog/post/28206627-centos上安装设定java环境CentOS 5.5系統上已經有安裝OpenJDK可用，如果有需要使用其他特別指定的JDK版本，例如SUN的JDK，就需要額外下載安裝。因為大部份的程式只要把 JAVA_HOME 設好就可以使用了，下載解壓版是最簡單的方式，作法是去SUN的網站下載
2015-12-25 16:46:00
357
转载 调整 VirtualBox 虚拟机的磁盘大小
使用 VM VirtualBox 创建了一个 CentOS 虚拟机，划分了 3GB 的磁盘空间，使用了动态分配存储的方式，文件系统为 LVM。折腾了一段时间之后，却发现磁盘容量不够了。读了一些资料之后，终于给 VirtualBox 的虚拟机增加了磁盘容量，并让 CentOS 的 LVM 将其利用上。下面特地新建了一个磁盘大小为 3GB 的虚拟机，然后将其调整为 5GB，并记录了操作步骤。
2015-12-25 00:57:52
5846
转载 扩大VMware虚拟机中linux硬盘空间
原文地址：http://blog.sina.com.cn/s/blog_709919050100wap1.html今天上午接到通知说服务器挂了，经过检查发现原因是Linux的虚拟机根分区已经使用100%,以至于服务不能正常进行。经过小小的研究，顺利解决问题，把服务器的空间由4G扩成12G。现将执行全过程总结如下，以供分享。首先，介绍下大体的解决思路，要想扩充，硬件上要有准备，说白了也就
2015-12-25 00:54:59
551
转载 使用Vagrant練習環境佈署
最近對Rails的佈署有更深一層的體悟，打算花點時間將佈署心得整理成文章，預計大概會在2050年前完成這部大作，這邊決定先發布序章，就是教你怎麼使用Vagrant來打造自己的測試機器。為什麼要用Vagrant答案很簡單，因為開遠端機器練習佈署或是機器架構又慢又麻煩又要錢，而且玩壞了或是環境髒了又得重灌又很慢，如果你想我一樣最近在玩Chef-Server，實驗多機器環境架構，例如一台
2015-12-24 22:43:18
426
转载 Spark处理Json格式数据（Python）
前言 Spark能够自动推断出Json数据集的“数据模式”（Schema），并将它加载为一个SchemaRDD实例。这种“自动”的行为是通过下述两种方法实现的： jsonFile：从一个文件目录中加载数据，这个目录中的文件的每一行均为一个JSON字符串（如果JSON字符串“跨行”，则可能导致解析错误）； jsonRDD：从一个已经存在的RDD中加载数
2015-12-23 11:06:04
4187
原创 python R 热度图聚类demo
今天调试程序，在Python中使用R进行热图聚类分析，要求对热图的显示颜色进行控制。可以利用heatmap.2中的col参数和breaks参数实现这一功能r['library']('pheatmap')r['library']('gplots')#r['library']('Cairo')imgpath = r'/static/temp_img/drug_recipe_cluster
2015-12-15 18:10:38
2660
原创 Python偏最小二乘回归(PLSR)测试
scikit learn机器学习包中包含了偏最小二乘回归，所以可以调用对应的函数来实现class sklearn.cross_decomposition.PLSRegression(n_components=2, scale=True, max_iter=500, tol=1e-06, copy=True)参数信息：Parameters:n_comp
2015-12-15 09:47:14
34109
14
转载 瞭解Unicode
在這章節我們將介紹什麼是Unicode，在我們理解Unicode之前，得先理解什麼是編碼，同時我們必需先回首過去，才能理解為什麼需要有Unicode什麼是編碼?在學習程式語言時，必需理解一個很重要的觀念，那就是在電腦裡的所有東西都是使用數字來表示的，不管是電影、圖片、聲音，理所當然的，文字也一樣是由數字來表示的，而事實上電腦裡能儲存的數字範圍也不是沒有限制，每個Byte能儲存的範圍
2015-12-10 10:51:05
353
转载 一行Python代码完成并行任务
众所周知，Python的并行处理能力很不理想。我认为如果不考虑线程和GIL的标准参数（它们大多是合法的），其原因不是因为技术不到位，而是我们的使用方法不恰当。大多数关于Python线程和多进程的教材虽然都很出色，但是内容繁琐冗长。它们的确在开篇铺陈了许多有用信息，但往往都不会涉及真正能提高日常工作的部分。经典例子DDG上以“Python threading tutorial （Py
2015-12-09 21:51:08
2807
转载 Python 多线程教程：并发与并行
在批评Python的讨论中，常常说起Python多线程是多么的难用。还有人对 global interpreter lock(也被亲切的称为“GIL”)指指点点，说它阻碍了Python的多线程程序同时运行。因此，如果你是从其他语言（比如C++或Java）转过来的话，Python线程模块并不会像你想象的那样去运行。必须要说明的是，我们还是可以用Python写出能并发或并行的代码，并且能带来性能的显著
2015-12-09 17:49:02
1215
转载 python使用函数默认值来实现函数静态变量的功能
今天尝试Python并行计算，想利用静态变量计数，从而知道函数被运行了几次Python本身是不支持静态变量的，但是我们可以通过函数的默认值来实现静态变量的功能。 当函数的默认值是内容是可变的类时，类的内容可变，而类的名字没变。（相当于开辟的内存区域没有变，而其中内容可以变化）。 这是因为python中函数的默认值只会被执行一次，(和静态变量一样，静态变量初始化也是被执行一次。）这就是她
2015-12-09 15:44:11
628
转载 MongoDB使用小结：一些常用操作分享
原文地址： http://www.cnblogs.com/cswuyg/p/4595799.html本文整理了一年多以来我常用的MongoDB操作，涉及mongo-shell、pymongo，既有运维层面也有应用层面，内容有浅有深，这也就是我从零到熟练的历程。MongoDB的使用之前也分享过一篇，稍微高阶点：见这里：《MongoDB使用小结》1、shell登陆和显示
2015-12-08 21:08:51
670
转载 Python字符编码详解
原文:http://www.cnblogs.com/huxi/archive/2010/12/05/1897271.html1. 字符编码简介1.1. ASCIIASCII(American Standard Code for Information Interchange)，是一种单字节的编码。计算机世界里一开始只有英文，而单字节可以表示256个不同的字符，可以表示所有的
2015-12-08 21:02:32
353
原创 mongodb操作
mongodb导入json数据mongoimport -d thinktank -c url_task_info xxx.json语句含义为 向thinktank数据库中的collection url_task_info导入xxx.json数据（当然，xxx.json也可以为xxx.dat等数据格式）
2015-12-08 20:59:40
414
OpenGL编程指南第七版
2013-12-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人