使用dumbo开发hadoop streaming程序

1. dumbo的官网:https://github.com/klbostee/dumbo/ wiki: https://github.com/klbostee/dumbo/wiki 2. 安装配置 详见wiki:https://github.com/klbostee/dumbo...

2016-01-28 00:58:34

阅读数:512

评论数:0

关于Python中的yield

在介绍yield前有必要先说明下Python中的迭代器(iterator)和生成器(constructor)。 一、迭代器(iterator) 在Python中,for循环可以用于Python中的任何类型,包括列表、元祖等等,实际上,for循环可用于任何“可迭代对象”,这其实就是迭代器...

2016-01-28 00:57:21

阅读数:245

评论数:0

深入mysql "ON DUPLICATE KEY UPDATE" 语法的分析

mysql "ON DUPLICATE KEY UPDATE" 语法 如果在INSERT语句末尾指定了ON DUPLICATE KEY UPDATE,并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值,则在出现重复值的行执行UPDATE;如果不会导致...

2016-01-28 00:53:59

阅读数:210

评论数:0

使用dumbo开发hadoop streaming程序

1. dumbo的官网:https://github.com/klbostee/dumbo/ wiki: https://github.com/klbostee/dumbo/wiki 2. 安装配置 详见wiki:https://github.com/klbostee/dumbo...

2016-01-28 00:52:15

阅读数:326

评论数:0

Protocol Buffers的安装使用和C++/Python入门示例

1. 介绍 protoc buffers是google公司开发和开源的一款数据序列化和反序列化的工具。Protocol Buffers 是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,或者说序列化。它很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言...

2016-01-28 00:50:08

阅读数:497

评论数:0

Google Protocol Buffers自带c++,java,python例子程序编译运行

在我的前一篇文章《Protocol Buffers的安装使用和C++/Python入门示例》中提到google protocol buffers自带了examples,里面有c++,java,python的例子。初学者在编译的过程中经常会遇到环境变量和jar包找不到的问题。这里,我将我的编...

2016-01-28 00:49:14

阅读数:815

评论数:0

让python在hadoop上跑起来

duang~好久没有更新博客啦,原因很简单,实习啦~好吧,我过来这边上班表示觉得自己简直弱爆了。第一周,配置环境;第二周,将数据可视化,包括学习了excel2013的一些高大上的技能,例如数据透视表和mappower绘制3d地图,当然本来打算是在tkinter里面运用matplotlib制作一个交...

2016-01-25 22:12:36

阅读数:1265

评论数:0

Cloudera hadoop配置文件地址和修改配置属性方法

问题导读 1.cloudera 的配置文件路径默认在什么位置? 2.如何通过cloudera manager web UI修改配置文件? 配置文件地址: Hadoop: /etc/hadoop/conf hbase: /etc/hadoop/conf hive: /etc/...

2016-01-12 18:52:56

阅读数:6682

评论数:0

python中if __name__ == '__main__': 的解析

当你打开一个.py文件时,经常会在代码的最下面看到if __name__ == '__main__':,现在就来介 绍一下它的作用.         模块是对象,并且所有的模块都有一个内置属性 __name__。一个模块的 __name__ 的值取决于您如何应用模块。如果 import 一个...

2016-01-02 17:10:13

阅读数:264

评论数:0

python常用的一些东西——sys、os等(转)

1.常用内置函数:(不用import就可以直接使用)       help(obj) 在线帮助, obj可是任何类型      callable(obj) 查看一个obj是不是可以像函数一样调用      repr(obj) 得到obj的表示字符串,可以利用这个字符串eval重建该对象的一个...

2016-01-02 16:03:48

阅读数:280

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭