python的json.dumps中文问题

python的json.dumps方法默认会输出成这种格式"\u535a\u5ba2\u56ed",。 要输出中文需要指定ensure_ascii参数为False,如下代码片段: json.dumps({'text':"中文"},ensure_asc...

2016-06-22 10:08:58

阅读数 270

评论数 0

开源复杂网络分析软件中社团发现算法总结

开源复杂网络分析软件中社团发现算法总结 2014-03-15 11:19 2299人阅读 评论(0) 收藏 举报  分类:   NetworkX学习笔记(5)  原文:http://blog.csdn.net/qysh123/article/detai...

2016-05-31 10:03:41

阅读数 1756

评论数 0

spark job运行参数优化

spark job运行参数优化 一、问题       使用spark join两张表(5000w*500w)总是出错,报的异常显示是在shuffle阶段。 14/11/27 12:05:49 ERROR storage.DiskBlockObjectWriter: Uncaugh...

2016-05-27 15:39:55

阅读数 511

评论数 1

spark实现Map-side Join和Reduce-side Join

在大数据处理场景中,多表Join是非常常见的一类运算。为了便于求解,通常会将多表join问题转为多个两表连接问题。两表Join的实现算法非常多,一般我们会根据两表的数据特点选取不同的join算法,其中,最常用的两个算法是map-side join和reduce-side join。本文将介绍如...

2016-05-27 15:34:40

阅读数 436

评论数 0

mysql下如何执行sql脚本

首要步骤(一般可省略): 开启mysql服务(默认是开机时就自动运行了): 控制面板-->管理工具-->服务,在里面找到名称为mysql的项,双击就可看它的服务状态是启动还是停止,把它设为启动 连接mysql: 在命令行下输入 mysql -h localhost -u r...

2016-05-27 15:04:30

阅读数 179

评论数 0

在spark中操作mysql数据 ---- spark学习之七

在spark中操作mysql数据 ---- spark学习之七 使用spark的 DataFrame 来操作mysql数据。 DataFrame是比RDD更高一个级别的抽象,可以应用SQL语句进行操作,详细参考: https://spark.apache.org/docs/latest/...

2016-05-27 10:34:53

阅读数 189

评论数 0

浅谈对于RDD的认识 RDD(Resilient Distributed Datasets)弹性分布式数据集,是在集群应用中分享数据的一种高效,通用,容错的抽象,是Spark提供的最重要的抽象的概念

浅谈对于RDD的认识 RDD(Resilient Distributed Datasets)弹性分布式数据集,是在集群应用中分享数据的一种高效,通用,容错的抽象,是Spark提供的最重要的抽象的概念,它是一种有容错机制的特殊集合,可以分布在集群的节点上,以函数式编操作集合的方式,进行各种并行...

2016-05-15 22:25:03

阅读数 530

评论数 0

小括号与花括号小括号与花括号

scala雾中风景(2): 小括号与花括号 2条回复 下面的问题,表面上看是小括号与花括号的问题。 // map方法这样写不能编译通过 scala> List(2).map( case 2 => "OK" ) // 换做花括号就可以了 scala...

2016-05-05 17:22:29

阅读数 716

评论数 0

java.net.NoRouteToHostException: No route to host

另外两个从结点也没有问题,此处略去。 经过对比验证,都没有问题。 其实,我已经想到可能是防火墙的问题,经过查证,终于找到了有人曾经遇到过该问题,可见文章http://samwalt.iteye.com/blog/1099348,需要关闭防火墙,在集群中每台机器上都执行如下命令:...

2016-05-02 20:23:53

阅读数 936

评论数 0

spark单机部署问题

spark单机部署问题  (2015-02-27 15:39:33) 转载▼ 标签:  spark   单机部署   nettytransport 分类: spark 1.端口不能绑定 15/02/27 16:1...

2016-04-07 21:38:15

阅读数 442

评论数 0

linux公钥

注意:需要关闭selinux,以及文件权限 在两台linux主机上由于环境的需要,经常要配置两台主机之间免密码登录,这就要用到key认证,也就是所谓的公私钥认证。便于理解,我这里指定两台主机为 A 和 B 。如果A主机想免密码登录到B主机上,则A主机上存放私钥,B...

2016-01-16 22:15:07

阅读数 706

评论数 0

gdb 安装

linux gdb安装步骤如下: 1. 首先可以使用命令“ rpm -qa |grep gdb"查询系统中是否安装了gdb软件包,如果安装了,应该显示如下: [root@localhost ~]# rpm -qa |grep gdb gdbm-1.8.0-26.2.1 gdb...

2015-11-05 14:54:10

阅读数 386

评论数 0

activemq-cpp 例子编译

编译: 在linux编译直接使用命令编译例子程序。 g++ -o main -pthread -I ../main main.cpp -I /usr/local/apr/include/apr-1/ /usr/local/lib/libactivemq-cpp.a /usr/local/apr...

2015-10-29 10:42:41

阅读数 788

评论数 0

python的类属性和实例属性

python的类属性和实例属性 今天一同事说踩了python的坑, 这确实是个“坑” 但是我觉得python之所以这样设计,就是明确要求写代码的人知道自己在写什么^ ^  python的实例属性必须在__init__(self) 方法中定义,直接跟在类名后边定义的属性都默认是类属...

2015-10-22 14:42:14

阅读数 220

评论数 0

python 传值与引用问题

和其他语言不一样,传递参数的时候,python不允许程序员选择采用传值还是传引用。Python参数传递采用的肯定是“传对象引用”的方式。实际上,这种方式相当于传值和传引用的一种综合。如果函数收到的是一个可变对象(比如字典或者列表)的引用,就能修改对象的原始值--相当于通过“传引用”来传递对象。如果...

2015-10-21 15:51:32

阅读数 401

评论数 0

python 模块概念

Python类、模块、包 Python在处理功能复用和功能颗粒度划分时采用了类、模块、包的结构。这种处理跟C++中的类和名字空间类似,但更接近于Java所采用的概念。 类 类的概念在许多语言中出现,很容易理解。它将数据和操作进行封装,以便将来的复用。 模块 模块,在P...

2015-10-09 10:38:50

阅读数 280

评论数 0

ZooKeeper基本原理

ZooKeeper是Hadoop Ecosystem中非常重要的组件,它的主要功能是为分布式系统提供一致性协调(Coordination)服务,与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper,第一部分介绍ZooKeeper的基本原理,第二部分介绍Z...

2015-09-18 17:33:45

阅读数 311

评论数 0

kafka介绍

Kafka独特设计在什么地方? 2.Kafka如何搭建及创建topic、发送消息、消费消息? 3.如何书写Kafka程序? 4.数据传输的事务定义有哪三种? 5.Kafka判断一个节点是否活着有哪两个条件? 6.producer是否直接将数据发送到broker的leader(主节点)? ...

2015-09-11 16:19:46

阅读数 410

评论数 0

ActiveMQ的queue以及topic两种消息处理机制分析

Q来作为jms总线,并且给大家介绍了activeMQ的集群和高可用部署方案,本期给大家再介绍下,如何根据自己的项目需求,更好地使用activeMQ的两种消息处理模式。         1    queue与topic的技术特点对比   Topic Queue ...

2015-09-10 11:13:48

阅读数 3430

评论数 1

Linux下安装maven

1.首先到Maven官网下载安装文件,目前最新版本为3.0.3,下载文件为apache-maven-3.0.3-bin.tar.gz,下载可以使用wget命令; 2.进入下载文件夹,找到下载的文件,运行如下命令解压 tar -xvf  apache-maven-2.2.1-bin.ta...

2015-09-08 17:24:53

阅读数 278

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭