大数据修炼道场
如何一个人玩转大数据
半吊子全栈工匠
半吊子全栈工匠一枚
展开
-
从冯诺伊曼结构看AI
AI, Artificial Intelligence, 人工智能。就像每个人眼中都有一个自己的哈姆雷特一样,每一个看AI 都是不一样的。作为一个老程序员....“什么是AI?”以及AI 和 大数据,机器学习,神经网络,自然语言处理等诸多名词到底有什么关系呢?......原创 2017-09-17 22:28:30 · 1284 阅读 · 0 评论 -
基于AWS使用深度学习的10个Linux命令
在AWS上执行大规模的深度学习处理是一个廉价而且有效的学习和开发方式。花少量的钱就可以使用数十GB的内存,数十个CPU,多个GPU,这是值得推荐的。如果你是使用EC2或者Linux 命令的新人,在云端执行深度学习脚本的时候, 这些命令是非常有效的。翻译 2017-09-04 21:56:53 · 2064 阅读 · 0 评论 -
大数据技能修炼的个人道场
大数据技术火热而且火爆,学习大数据的课程和资料也泛滥如潮,而大数据研发环境又不是随便就可以搭建起来的,如何有一个自己随时可用的大数据修炼道场呢?网上有很多hadoop单机版的搭建教程,但大多是基础组件,如果想窥探Hadoop 的整个生态系统,并建立一个人的大数据环境,从而修炼大数据的各种技术,我觉得非 HDP 的Sandbox 莫属了......原创 2016-02-14 20:28:12 · 3227 阅读 · 2 评论 -
NoSQL 与大数据
概览一下大数据项目中可以使用的数据存储技术,展示如何使用以及它们的区别。先理解一下NoSQL领域中各种不同的技术:key/value, 列存储,文档型和graph 图存储,然后聚焦于Couchbase 和 ElasticSearch,原创 2016-05-25 22:17:59 · 36918 阅读 · 2 评论 -
架构大数据分析应用
这是《Scalable Big Data Architecture》一书的翻译笔记和读书札记,融入自己的部分观点 ….典型使用场景....大数据生态系统.....原创 2016-05-18 21:19:50 · 17561 阅读 · 3 评论 -
大数据时代的企业管理——读《量化》的随手札记
量化分析是组织发展计划的基石,也是解决重要组织问题的工具。1. 数据时最简单的信息形式,通常是数字或常量2. 指标将真正有关的数据的分组,使数据的含义更清晰3. 信息添加了上下文,使指标更好理解4. 量化分析做完整的描述,全面解答根本问题,其中要用到数据,指标,信息及其他分析手段原创 2014-09-14 16:03:21 · 2711 阅读 · 0 评论 -
可爱的猪——Pig
pig 提供了一个基于hadoop并行执行数据流处理的引擎,以Pig Latin来描述数据流,相当于一个有向无环图(DAG),节点代表处理数据的操作符,节点间的向量代表数据流。pig提供了类SQL的标准操作,比直接写mapreduce代码更容易维护,主要用于ETL,原生数据研究和迭代处理。pig 什么数据都吃,也能在非hadoop上并行运算,容易控制和修改,性能较快。用户提交hadoop任务的那原创 2014-12-13 17:16:00 · 2105 阅读 · 0 评论 -
大数据架构的典型方法和方式
NoSQL 技术为应用提供了缓存和搜索特性,但既然是处理数据,就需要定义一种方法来处理各种数据流,以便能够给用户输出见解或数据服务。通过审视被IT组织使用广泛的数据架构来定义处理的拓扑结构。当考虑服务水平SLA时 需要进行结构分割。最后,讨论一个特殊种类的架构, lambda这一多种类型架构的结合体。原创 2016-06-04 15:15:30 · 31764 阅读 · 2 评论 -
与猪(pig)共舞
猪在吃东西的时候稍有浪费,pig 也有类似的情况.Pig Latin 是一种数据流语言,每个处理步骤都产生一个新的数据集,或产生一个新的关系。无论关系还是字段都是以字母字符开头,大小写敏感,注释和java相同。任何一种数据流处理的第一步都是指定输入,pig...原创 2014-12-20 17:26:30 · 1968 阅读 · 0 评论 -
会飞的猪(Pig)
猪会飞么?提高pig的性能,让猪飞起来有如下办法:1. 尽早地并经常地进行过滤2. 尽早地并经常地进行映射3. 正确并合理地使用Join4. 选择正确的数据类型,合适的并行值5. 调整pig 的性能属性:pig.cachedbag.menusage 和pig.skewedjoin.reduce.memusage6. 对中间结果进行压缩 ......原创 2014-12-21 14:37:57 · 2090 阅读 · 0 评论 -
猪与蟒(pig and python)
Python 真是无处不在呀.pig 0.9以后将python作为嵌入式支持语音,使用Jython解释器利用python2.5的功能,这个接口的最上层是org.apache.pig.scripting.Pig首先python脚本会对一段Pig Latin脚本进行编译,然后将在Python中定义的变量传递给它,最后执行它.....原创 2014-12-21 14:45:42 · 3692 阅读 · 0 评论