2014年08月_大数据的未来

原创 Hadoop大数据学习线路图

hadoop学习路线云计算，是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备，主要是基于互联网的相关服务地增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需

2014-08-22 11:44:53 2670

转载 spark安装配置

环境:CentOS 6.4, Hadoop 1.1.2, JDK 1.7, Spark 0.7.2, Scala 2.9.3折腾了几天，终于把Spark 集群安装成功了，其实比hadoop要简单很多，由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本，走了不少弯路。1. 安装 JDK 1.7yum search openjdk-develsudo yum insta

2014-08-21 15:28:27 629

在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正确的决策。目前，在很多领域尤其

2014-08-07 11:07:17 1595

原创 python json库简单介绍

python 操作json概念：序列化：将对象的状态信息转换为可以存储或通过网络传输的过程。传输的格式可以为：xml json等反序列化：从存储区域（JSON，XML）读取反序列化对象的状态，重新创建该对象。 Python的Json模块序列化与反序列化的过程分别是 encoding和 decoding encoding:把一个Python对象编码转换成Json字符串

2014-08-06 12:25:59 1476

原创 pig简单介绍

pig简单介绍

2014-08-05 21:34:13 1000

原创 linux命令简单介绍

1.通过远程工具登陆到linux后，所在的位置是当前登录用户的家目录(home directory)。2.家目录的符号用~表示。3.linux的文件系统是一个树结构。 linux文件系统的树根成为根目录，使用符号"/"表示。 linux文件系统中使用符号".."表示上级目录。 linux文件系统中使用符号"."表示当前目录。 linux文件系统中，如果文件使用“.”

2014-08-05 21:07:34 545

原创 python操作redis

# -*- coding: utf-8 -*- '''根据用户id键从redis数据库(库11)中取一些字段，如果redis中没有，则通过接口取得数据，并把数据保存在redis中'''import redisimport urllib, urllib2r = redis.StrictRedis(host = '192.168.141.150', port = 6379

2014-08-05 17:26:53 522

原创 python

python

2014-08-04 17:12:47 478

原创 sql与pig比较

sql与pig比较1.select select column_name from table_name; foreach alians generate column_name;2.select * select * from table_name; foreach alias generate *;

2014-08-04 16:55:23 663

原创 redis

wget http://download.redis.io/redis-stable.tar.gz redis入门指南（梁小明 2014/8/4 上海易班实习）1.安装redis(远程字典服务器)2.redis 命令行客户端 redis-cli -h 127.0.0.1 -p 6379测试客户端是否连接redis redis-cli pin

2014-08-04 16:42:36 519 1

梁小明的博客