Spark Core: sc.textFile vs sc.WholeTextFiles

While loading a RDD from source data, there are two choices which look similar. scala> val movies = sc.textFile("movies")...

2015-09-08 15:10:27

阅读数 2548

评论数 0

php curl 设置超时

php curl 超时设置详解     本文介绍下,在 php 中使用 curl 时,进行超时设置的详细方法,大家参考下,希望对 大家有一定的帮助 .  访问 HTTP 方式很多,可以使用 curl, socket, file_get_contents()  等方法。...

2014-07-30 22:57:29

阅读数 7924

评论数 0

php put数据

Just been doing that myself today... here is code I have working for me... $data = array("a" => $a); $ch = curl_init($url); curl_setopt...

2014-07-19 19:28:54

阅读数 422

评论数 0

elasticsearch的基本用法

最大的特点: 1. 数据库的 database, 就是  index 2. 数据库的 table,  就是 tag 3. 不要使用browser, 使用curl来进行客户端操作.  否则会出现 java heap ooxx... curl:  -X 后面跟 RESTful :  GET...

2014-07-19 15:58:59

阅读数 774

评论数 0

elasticsearch的一些基本概念

elasticsearch的一些基本概念 需要我们注意的是,这些概念理解只是解释其含义,不推荐强制翻译成中文。 Index:这是ES存储数据的地方,类似于关系数据库的database。 Document type:嗯,类似关系数据库的表,主要功能是将完全不同schema(这个概念...

2014-07-19 15:06:52

阅读数 10071

评论数 2

用指定账号执行命令

sudo su - usr1 -c "/data/cmd"

2014-07-11 13:13:40

阅读数 376

评论数 0

pig good

grunt> res = load '/user/hive/warehouse/0hk8ubfx/'  >> as (guid:chararray, rate:double); grunt> ret = filter res by rate>0.0; grunt...

2014-07-10 13:37:07

阅读数 297

评论数 0

MySQL用Load Data local infile 导入部分数据后中文乱码(character set utf8)

今天在两台MySQL服务器之间导数据,因为另一个MySQL服务器是测试用的,差一个月的数据,从现有MySQL服务器select到一个文件,具体语句是: select * from news where ine_time>='2010-02-01' and ine_time ...

2014-06-19 11:30:07

阅读数 11953

评论数 0

JSON Hijacking漏洞

漏洞描述    CGI以JSON形式输出数据,黑客控制的第三方站点以CSRF手段强迫用户浏览器请求CGI得到JSON数据,黑客可以获取敏感信息      漏洞检测    使用工具获取json数据。 漏洞修复    可使用以下任意办法防御JSON Hijacking攻击 1、在请求...

2014-05-04 09:11:05

阅读数 2713

评论数 0

常用进程相关操作

查看使用指定端口的进程 lsof -i TCP:9001 COMMAND   PID    USER   FD   TYPE     DEVICE SIZE NODE NAME java    11704 webroot   74u  IPv6 3655631084       TCP *:et...

2014-03-05 12:29:17

阅读数 425

评论数 0

常用网络设置

1,配置host 配置或者添加/etc/hosts文件,添加一行: 192.168.3.89  www.abc.com 2,配置DNS 配置或者添加/etc/resolv.conf文件,添加一行: nameserver 192.168.3.89

2014-03-04 20:41:38

阅读数 463

评论数 0

nd的执行远程主机程序的方法

#!/usr/bin/expect spawn ssh web@x.x.x.x  "/data/t/busi/q/aa.sh" expect "assword:" send "xxxxxxx\r" interact

2014-02-27 19:11:11

阅读数 507

评论数 0

PHP 类的反射使用

对于每个频道获取相应的类来执行相应的操作         foreach($this->chs as $ch) {             $className = $this->chsMap[$ch];             if($className) { // 如果是...

2014-02-14 16:24:53

阅读数 635

评论数 0

MySQL 主键与索引的联系与区别分析

转自:http://www.educity.cn/shujuku/692954.html 关系数据库依赖于主键,它是数据库物理模式的基石。主键在物理层面上只有两个用途: 惟一地标识一行。 作为一个可以被外键有效引用的对象。 索引是一种特殊的文件(InnoDB数据表上的索引是表空间的一个...

2014-01-09 09:18:29

阅读数 536

评论数 0

MySQL数据库索引中的单列索引与多列索引

原文:http://blog.163.com/xiao_hua_jc/blog/static/312499420126127165935/ 以下的文章主要介绍的是MySQL数据库索引,即单列索引与多列索引的介绍,以及对多列索引的SQL命令的示例,以下就是这些内容的介绍,望你在浏览之后会对MySQ...

2014-01-08 20:43:06

阅读数 3646

评论数 0

Mysql设计索引的原则

设计索引的原则 1. 搜索的索引列,不一定是所要选择的列。换句话说,最适合索引的列是出现在 WHERE 子 句中的列,或连接子句中指定的列,而不是出现在 SELECT 关键字后的选择列表中的 列 。 2. 使用惟一索引。考虑某列中值的分布。对于惟一值的列,索引的效果最好,而具有多个 重复值...

2014-01-08 17:16:51

阅读数 4601

评论数 0

进程相关

strace -p 5190

2014-01-07 11:03:39

阅读数 297

评论数 0

设置hadoop Job允许map task失败的比例

设置hadoop Job允许map task失败的比例   故事背景: hadoop任务分为map task和reduce task,当map task执行失败后会重试,超过重试次数(mapred.map.max.attempts指定,默认为4),整个job会失败,这是我们不想看到的。 ...

2013-12-24 19:49:04

阅读数 1014

评论数 1

查看 MySQL 数据库中每个表占用的空间大小

如果想知道MySQL数据库中每个表占用的空间、表记录的行数的话,可以打开MySQL的 information_schema 数据库。在该库中有一个 TABLES 表,这个表主要字段分别是: TABLE_SCHEMA : 数据库名 TABLE_NAME:表名 ENGINE:所使用的存储引擎 TABL...

2013-12-12 18:42:50

阅读数 582

评论数 0

linux zip/unzip命令

命令名: zip   功能说明:压缩文件。 语  法:zip [-AcdDfFghjJKlLmoqrSTuvVwXyz$][-b 工 作目录>][-ll][-n 字 尾字符串>][-t 日 期时间>][-压 缩效率>][压 缩文件][文件...][-i 范本样式&...

2013-12-02 20:16:12

阅读数 350

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭