- 博客(14)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 SparkGraphX快速入门
1 图图是由顶点和边组成的，并非代数中的图。图可以对事物以及事物之间的关系建模，图可以用来表示自然发生的连接数据，如：社交网络互联网web页面常用的应用有：在地图应用中找到最短路径基于与他人的相似度图，推荐产品、服务、人际关系或媒体2 术语2.1 顶点和边一般关系图中，事物为顶点，关系为边2.2 有向图和无向图
2017-06-04 11:29:45
15275
转载 js计算页面停留时间实例
转载自：http://www.jbxue.com/article/js/20141.html本文介绍了js计算页面停留时间的方法，输入框内显示页面停留时间，运行代码后立即开始计时，js脚本实现页面停留时间的统计，有需要的朋友参考下。例子，页面停留时间统计 js计算页面停留时间_www.jbxue.com 替换原有的 --> 之间--> <
2015-01-19 23:27:34
5593
转载 /bin/bash^M: bad interpreter: No such file or directory
执行一个脚本full_build.sh 时, 一直是提示我:-bash: ./full_build.sh: /bin/bash^M: bad interpreter: No such file or directory开始是说我权限不够, 不能执行, 接着我就把权限给改了, 就一直报上面问题.记得几个月前, 就遇到过类似的问题, 当时是在编译Android F
2014-11-17 02:41:33
373
转载 sed 和 awk
CentOS 丛书目录 — 系统管理 — 网络服务 — 应用部署sed 和 awksedsed 简介sed 是一个流编辑器（stream editor）。sed 是一个非交互式的行编辑器，它在命令行中输入编辑命令、指定被处理的输入文件，然后在屏幕上查看输出。输入文件可以是指定的文件名，也可以来自一个管道的输出。sed 不改变输入文件的内容，且总是将处理结果输出到标准输出，可
2014-11-14 00:27:38
519
转载 浅析 Hadoop 中的数据倾斜
最近几次被问到关于数据倾斜的问题，这里找了些资料也结合一些自己的理解. 在并行计算中我们总希望分配的每一个task 都能以差不多的粒度来切分并且完成时间相差不大，但是集群中可能硬件不同，应用的类型不同和切分的数据大小不一致总会导致有部分任务极大的拖慢了整个任务的完成时间，硬件不同就不说了，应用的类型不同其中就比如page rank 或者data mining 里面一些计算，它的每条记
2014-11-13 22:49:39
411
转载 centOS6.4 VMware克隆后 重新设置成eth0
问题：用VMware克隆CentOS 6.5后，发现系统内只有eth1,而且/etc/sysconfig/network-scripts/下只有，ifcfg-eth0文件，虽然可以上网，但无法设置静态IP。ifconfig eth0eth1: error fetching interface information: Device not found解决：查看编辑文件70-
2014-11-13 21:21:23
414
转载 MapReduce的Reducer数量确定
Reducer的数量可以由程序员明确设置，那么设置多少Reducer可以达到较好地效果呢？Reducer的数量范围为：(0.95 ~1.75 ) * 节点数量 * 每个节点上最大的容器数。参数yarn.scheduler.minimum-allocation-mb设置了每个容器可请求的最小内存，那么最大容器数可根据总的内存除以该参数计算得出。当使用0.75时，所有的Reducer会被立即加载，并当
2014-11-13 20:02:38
1306
转载 Hadoop-2.4.1学习之Mapper和Reducer
本文转载自http://www.linuxidc.com/Linux/2014-11/109286.htm
2014-11-12 21:58:19
868
转载 hadoop集群配置机架感知
自己搭建的hadoop集群一般默认不具备机架感知能力，为了提高hadoop集群的网络性能，我们常常需要配置机架感知。下面是以下步骤：一、修改配置文件core-site.xml，添加配置属性：
2014-11-12 08:51:01
941
转载 hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
问题导读：1.DataNode的http服务的端口、ipc服务的端口分别是哪个？2.NameNode的http服务的端口、ipc服务的端口分别是哪个？3.journalnode的http服务的端口、ipc服务的端口分别是哪个？4.ResourceManager的http服务端口是哪个？5.NodeManager的http服务端口是哪个？6.Maste
2014-11-12 08:34:17
589
转载 Eclipse快捷键大全
Eclipse快捷键大全(转载)Ctrl+1 快速修复(最经典的快捷键,就不用多说了)Ctrl+D: 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复制增加)Ctrl+Alt+↑ 复制当前行到上一行(复制增加)Alt+↓ 当前行和下面一行交互位置(特别实用,可以省去先剪切,再粘贴了)Alt+↑ 当前行和上面一行交互位置(同上)Alt+← 前一个编辑的页面
2014-11-12 07:31:53
271
转载 Java中字符串的切割2种方法
java.lang.String 的 split() 方法, JDK 1.4 or laterpublic String[] split(String regex,int limit)示例代码
2014-11-12 06:51:54
5016
转载 编译制作hadoop 2.4.1 Eclipse插件，在线调试运行MapReduce程序
环境简介：hadoop 2.4.1 运行在linux虚拟机当中（伪分布式，其实这个不影响）Eclipse 4.3.2 运行在windows 8.1中ant 1.9.4 运行在windows 8.1 中，环境变量已经配置好利用ant 编译出hadoop2.4.1的Eclipse插件：因hadoop2.4.1版本比较新，官方并没有提供该版本的Eclipse插
2014-11-09 18:02:48
876
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人