- 博客(15)
- 问答 (1)
- 收藏
- 关注
原创 关于使用 MongoDB Connector for Hadoop 的经验和教训
参考文章:Mongo hadoop connector https://github.com/mongodb/mongo-hadoopwikihttps://github.com/mongodb/mongo-hadoop/wikippthttp://www.slideshare.net/mongodb/hadoop-webinar?from_embed_lead_cta=t
2015-06-26 22:37:57
7355
6
转载 深度分析如何在Hadoop中控制Map的数量
目录(?)[+]深度分析如何在Hadoop中控制Map的数量InputFormat介绍FileInputFormat中影响Map数量的因素如何调整Map的数量减小Map-Reduce job 启动时创建的Mapper数量输入文件size巨大但不是小文件输入文件数量巨大且都是小文件增加Map-Reduce job 启动时创建的Mapper数量
2014-09-30 11:47:01
594
原创 【Redis 3】Redis数据库的学习与实践—Redis的常用命令及高级应用
Redis数据库的学习与实践—Redis的常用命令及高级应用 一:Redis的常用命令Redis提供了丰富的命令对数据库和各种数据库类型进行操作,这些命令可以在Linux终端使用。 1:键值相关命令。 (1)keys 返回满足给定pattern的所有Key;keys *keys my*
2014-09-12 17:28:50
2877
原创 【Redis 2】Redis数据库的学习与实践—redis的数据类型
Redis数据库的学习与实践—redis的数据类型Redis的数据类型:1:Strings类型及操作: String类型是最简单的类型,一个Key对应一个Value,String类型是二进制安全的。Redis的String可以包含任何数据,比如jpg图片或者序列化的对象。 (1)Set方法,设置key对应的值为String类型的value。
2014-09-12 17:18:41
753
原创 【Redis 1】Redis数据库的学习与实践—安装与部署
Redis数据库的学习与实践—安装与部署一:Redis数据库简介: Redis—Remote DictionaryServer,可以直接理解为远程字典服务。 这里摘抄一段Redis官网上的话似乎更能准确的概述Redis的含义:Redis is an open source,BSD licensed, advanced key-valuecache andstor
2014-09-12 16:53:14
1230
原创 【python coding 6:文档字符串】Python的文档字符串DocStrings
Python有一个很奇妙的特性,称为 文档字符串 ,它通常被简称为 docstrings 。DocStrings是一个重要的工具,由于它帮助你的程序文档更加简单易懂,你应该尽量使用它。
2014-08-09 14:25:10
648
原创 【论文感悟1】Google Bigtable
阅读Google Bigtable之感悟 之前对ApacheHadoop的一系列产品有所研究,追根溯源,在拜读了Google的三篇经典论文之后,自己对衍生自Google这几篇论文的Hadoop家族的产品有了更加深刻的认识。 这篇博客是对GoogleBigtable这篇论文的读后感,因水平有限,本文只是作为自己学习的小结,文中有不妥之处,还请批评指正。
2014-08-07 16:54:38
1168
原创 【python coding 5:集合】python中集合的用法
python中集合的用法,归纳如下: #!/bin/env python#---(1)用集合的工厂方法set()和frozenset()---#set方法>>> s = set('cheeseshop')>>> sset(['c', 'e', 'h', 'o', 'p', 's'])#frozenset方法>>> t = frozenset('bookshop')>>> t
2014-07-29 23:28:57
547
原创 【python coding 1:网络检测】ping本地文件里的ip地址
#!bin/env python#-*- coding: utf8 -*-import os#用只读的方式打开文件f=open("/home/rocketeer/datafile/hosts.txt","r")#遍历文件f的每一行,并使用ping命令加上每一行的内容在command中执行for line in f.readlines(): os.system("pin
2014-07-25 11:56:20
2806
原创 Hadoop2.2.0伪分布式环境搭建(附:64位下编译Hadoop-2.2.0过程)
Hadoop2.2.0伪分布式环境搭建: 写在前面:Hadoop2.2.0默认是支持32位的OS,如果想要在64位OS下运行的话,可以通过在64位OS下面编译Hadoop2.2.0来实现,编译的操作步骤在最后面呈现。1:操作:下载软件;文件:Hadoop-2.2.0.tar.gz步骤: 到http://mirrors.cnnic.cn/apache/hadoo
2014-07-17 15:31:01
3514
空空如也
请问为什么我用Nutch爬取不到百度百科和百度文库里面的内容?
2013-11-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人