- 博客(221)
- 收藏
- 关注
RSS订阅原创 Ambari源码编译
Ambar为Apache基金会的一个顶级项目。作为一个为Hadoop系统提供一站式维护的工具，ambari支持通过web页面/RestfulApi的方式进行对集群的一键部署，最重要的是可以自己编写部署脚本部署自己的分布式系统。这个是富有价值的，现在有的公司使用的是自研的分布式框架，想要自动部署大多也是自研一套分布式框架。现在Ambari的出现，缓解了这个问题，用户只需要使用python按照规则编写
2016-01-26 22:15:04
7541
2
原创 浅谈阿里云伏羲sortBenchmark为何这么快
看到了阿里云伏羲计算平台获得了sortbenchmark冠军,并且是投入使用版(Daytona)和内部实验版(Indy)双冠，为国内的云计算事业感到自豪，详情见http://sortbenchmark.org/FuxiSort2015.pdf 。那么为什么伏羲计算框架在排序可以达到这么快的速度，究竟在哪里做了哪些优化呢，在文中提到了流水线策略、IO双buffer、NetWork Shuff
2015-11-14 18:31:50
3441
原创 java调度器(重试机制)实现
调度器分为正常调度，异常调度，异常调度根据不同的队列进行时间间隔的区分，采用ScheduledExecutorService进行时间间隔调度，调度时根据当前队列中addData进队列里的数据分配线程进行处理。先看正常调度，这个类在构造函数时就会被调度，可以添加set方法，配置好单独再进行scheduler：package test;import java.util.ArrayList;i
2015-11-14 18:17:48
11061
1
原创 Ambari-单步创建cluster
Ambari-单步创建 整体介绍单步创建集群即对于集群内每一个服务的安装、开启，组成服务的每一个组件host信息的设置等操作都进行一次ambari-server的restAPI的调用。这样做提高了对集群操作的灵活性，由于Blueprint的出现是在ambari 1.5版本之后，对非HDP版本的支持性可能存在不足，故sahara采用的是ambari单步创建集群的调用方式。需要注意的是：在调用
2014-10-23 11:59:24
3585
2
原创 Ambari-部署常见问题
重启ambari-server端后调用install、start API后返回200导致该问题的原因是server在启动后没有收到agent的心跳即没有与agent建立连接，在此时进行API调用会导致只改变集群服务的状态，实际server并没有进行命令发送。具体查看agent与server连接情况可以到 http://:8080/api/v1/hosts 页面下进行查看。
2014-10-23 11:44:52
3161
原创 Ambari-Blueprint介绍
Ambari-Blueprint整体介绍ambari-blueprint主要作用是通过提供一个restAPI，调用几次API就可以创建一个集群，ambari-server解析stack下的role_command_order.json文件来自动部署集群，role_command_order.json文件记录着各个服务与组件的部署顺序，ambari-server会自动根据顺序建立task，这
2014-10-23 11:40:02
3642
3
原创 Ambari-stack介绍
Ambari-stack整体介绍Ambari-stack 表示hadoop某个发行版本，例如HDP-1.0.0，在用ambari创建一个集群时，首先要通过调用restfulAPI设置stack版本。stack下包含一个或多个service，例如HDP-2.0.6下包括多个service，分别是 ZOOKEEPER，HDFS，YARN，等。单个service下通过配置service下存储的m
2014-10-21 18:36:58
2337
原创 Ambari-部署文档
Ambari-server搭建过程部署环境要求操作系统：centos 5 或 centos 6可以使用yumjdk版本 1.7部署步骤下载 Ambari repository .repo 文件到yum配置目录下cd /etc/yum.repos.d/wget http://db-dcdev.db01.baidu.com:809
2014-10-21 18:20:36
1822
原创 Ambari-整体介绍
Ambari目标解决Hadoop生态系统部署部署：hadoop组件间有依赖，包括配置、版本、启动顺序、权限配置等。部署过程跟踪。能够展示出部署过程中每个步骤的状态及相关信息。多机部署问题，当集群规模增加后，机器出问题机率增加，在部署或更新中可能会出现机器故障组件本身设计：hadoop及其组件需要容忍机器的故障，同时需要防止不兼容版本组件给系统带来
2014-10-21 17:19:59
6099
2
转载 C语言的变量的内存分配
今晚看了人家写的一个关于C语言内存分配的帖子，发现真是自己想找的，于是乎就收藏了。。。先看一下两段代码：[cpp] view plaincopyprint?char* toStr() { char *s = "abcdefghijkl"; return s; } int main() {
2014-03-27 12:46:30
656
转载 freopen重定向stdin与stdout后如何恢复正常
函数定义如下：FILE * freopen ( const char * filename, const char * mode, FILE * stream );在windows下控制台的标准输出设备是CON，在linux下面则用/dev/tty来显示当前终端，标准的应该是/dev/console,但个人试验只有tty的情况下才能成功。设置了set-user-id并将user 改
2014-03-27 10:03:16
8001
2
转载 使用ptrace跟踪进程
转自http://godorz.info/2011/02/process-tracing-using-ptrace/原文链接:http://linuxgazette.net/81/sandeep.html系统调用ptrace对gdb这种调试器来说是非常重要的,杯具的是,相关的文档却残缺不详–除非你觉得最好的文档就是内核源码!!下面,我会试着向大家展示ptrace在gdb这类工具
2014-03-20 11:28:30
1195
原创 rlimit Linux下限制资源的使用(Limiting Resource Usage)
在Linux环境编程下，我们可以具体的限制一个进程对资源的使用，当进程尝试超过资源使用的限制，它可能会收到一个信号，或是因资源而失败的系统调用。每个进程最初的获得的限制来自父进程，但是后来可以更改这个限制。有两个关于资源限制的概念：current limit：为系统规定的上限，也叫做"soft limit"，因为进程通常将被限制在这个范围内。maxinum limit：为一个进程被允许
2014-03-19 17:38:22
2673
7
转载 Shell 调用系统时间变量
获取今天时期：`date +%Y%m%d` 或 `date +%F` 或 $(date +%y%m%d) 获取昨天时期：`date -d yesterday +%Y%m%d` 获取前天日期：`date -d -2day +%Y%m%d` 依次类推比如获取10天前的日期：`date -d -10day +%Y%m%d` 或n天前的 `date -d "n days ago" +%y%
2014-03-12 17:16:34
1600
原创 初步理解getopt函数
getopt函数为C语言程序中提供命令行开关的标准程序接口。实际作用是解析命令行参数。#includeint getopt(int argc,char *const argv[],const char *opstring);extern char *optarg;extern int optind,opterr,optopt;getopt函数将传递给程序mian()函数的argc,
2014-03-05 13:22:42
969
原创 不算退役贴的退役贴
就好像大二才学Java一样，这文章也是先写在记事本上的。本来得了铜牌还写退役贴确实没啥意思，但是看了看之前空间里那么幼稚的日志就发现不写点什么好像大学三年什么都没有做。其实写这东西确实不算是纪念ACM生涯的，嗯而是用来纪念一下我的大学的。 Txt没有换行，我又用了word。。。还记得高中自己不努力，放假就去银河战舰跟着大白，圆心那些人，就好像各自有各自事业一样的，我往死里玩头文
2014-01-29 23:34:40
2388
1
原创 POJ 1976 A Mini Locomotive
题意：给出n车厢以及n节车厢内的人数 现有三节迷你火车头 每个火车头可以拉连续的m节车厢 问三个火车头最多可以拉多少人。dp[i][j]表示第i节车厢有j个车头可以拉的总人数 dp[i][j]=max(dp[i-1][j],dp[k][j-1]+a[i]-a[k]) k=max(i-m,0) 前一个表示该节车厢不拉 后一状态表示加一个火车头拉#include #include#incl
2013-12-20 13:25:02
891
原创 扩展欧几里得求两多项式最大公因式
#include #include #include #include using namespace std;typedef long long LL;const double eps = 1e-8;const int MOD = 999983;const int N = 55;struct Poly{ int n; LL a[N];};Poly p
2013-10-14 13:01:35
2593
原创 HDU 2050 分割问题
有结论根据公式就可以。#include using namespace std;int main(){ int t;long long n; cin>>t; while(t--) cin>>n,cout<<2*n*n-n+1<<endl; return 0;}
2013-10-11 21:44:20
804
原创 HDU 1115 求多边形重心
一个均匀的多边形重心为 横纵坐标和分别除以六倍的面积。#include #include#include#include#include#include#includeusing namespace std;struct point{ double x,y; void input() { scanf("%lf%lf",&x,&y);
2013-10-07 20:09:48
637
原创 URAL 1698 自守数
好吧 苟哥总结好了我直接粘了自守数的定义 对于一个k位的自然数n，如果它的平方后的最后k位跟原数相同，那么n就叫做自守数。数学定义表达式为：。 一位数的自守数有三个，分别为1，5，6。两位数以上的自守数分为A、B两类，A类是以5结尾，B类是以6结尾。例如，以5结尾的自守数有25，625，90625等；以6结尾的自守数有76、376、9376等。
2013-10-06 19:47:36
948
原创 URAL 1456 求a模n的阶
首要条件是a,n互素，也就是求a^x=1(n)最小的x，根据欧拉函数可知最大为n的欧拉函数值。所以n的欧拉函数值的因子就可以了。#include #include#include#include#include#include#includeusing namespace std;#define ll long longll gcd(ll a,ll b){ re
2013-10-06 19:39:51
1568
原创 将一个数分解成多个素数和的方法数
题目描述：哥德巴赫猜想认为任一大于2的偶数，都可表示成两个素数之和，比如6 = 2+2+26 = 3+310 = 2+2+2+2+210 = 2+2+3+310 = 2+3+510 = 3+7像3+7与7+3只有顺序不一样的认为是一种方式问：给定一个10000以内的偶数，将它表示为素数的和有几种方式？(结果对10^9+7取模)
2013-10-05 13:23:54
14113
原创 URAL 1356 哥德巴赫猜想
题意：给出一个数，把它分解成几个素数相加的形式，要求分解出的素数的数量最小。这题分情况讨论就可以了，首先需要知道哥德巴赫猜想即一个大于4的偶数可以分解成两个素数和的形式。其次需要知道奇数加奇数等于偶数，奇数减奇数等于偶数。那么首先判断n是否是素数，如果是直接输出n就可以。接下来判断如果n是奇数，那么先判断n-2是否是素数，如果是的话那么最小数量的素数和即n-2 与 2，如果不是那么肯定
2013-10-04 15:26:08
804
原创 求分解后x的最小公倍数
import java.math.BigInteger;import java.util.*;public class Hello{ static final int N = 1005; static boolean prime[] = new boolean[N]; static int p[] = new int[N]; static BigInteger dp[][]
2013-10-03 19:07:23
674
原创 timus 1268 原根
题意：求K个素数pi对应的ni。ni满足：ni，ni^2,ni^3,...,ni^m对pi取模各不相同(i=1,2,3,...)，且m最大，ni最大。理论基础： 原根的定义：首先，对于互质的两个整数a，m。必然存在：d 原根性质定理：如果a为m的原根，记它的阶为ord，那么：a,a^2,a^3,...,a^ord对m取模的值各不相同。 定理1：对于整数a
2013-10-03 15:19:18
960
原创 URAL 1204 中国剩余定理
题意：给出一个n n为两个素数的乘积，让求满足方程 x*x=x ( mod n ) 且x给上面等式变形有x*(x-1)=0 ( mod p*q ) 则有 x = 0 ( mod p) x = 1 ( mod q ) 或者 x = 1( mod p) x = 0 ( mod q )，由于p,q,互素，所以可以用中国剩余定理求出最小的正整数解。 #include #include#in
2013-10-03 10:29:03
1224
原创 URAL 1141 计算模n的e次根
给出 n=p*q p,q为素数 gcd(e, (p-1)*(q-1)) = 1, e me = c (mod n)。摘自《数论概论》#include #include#include#include#include#include#includeusing namespace std;#define maxn 32050typedef long l
2013-10-02 15:58:33
1034
原创 URAL 1132 二次剩余
1132. Square RootTime limit: 1.0 secondMemory limit: 64 MBThe number x is called a square root of a modulo n (root(a,n)) if x*x = a (mod n). Write the program to find the square root o
2013-10-02 11:51:24
878
原创 URAL 1133 二分
给出广义斐波那契数列的任意两项，让求这个斐波那契数列的其他项。这题解方程的话精度不够所以二分求出f[a+1]这一项的值。二分的时候如果超范围直接跳出。再通过f[a]与f[a+1]求出任意一项。写得好挫啊。#include #include#include#includeusing namespace std;int judge(long long x,long long a,
2013-10-01 16:45:46
822
原创 URAL 1043 三角形外接圆
题意：给出一个圆弧上的三个点，求出一个边平行于坐标轴面积最小的矩形并且这个矩形可以给这个圆弧覆盖掉，求矩形面积。步骤：1.先求出给出三点围城三角形的外接圆，圆弧就是这个圆的一部分。2.找出外接圆的上下左右四个端点。3.枚举四个端点如果在弦ab 跟c同侧那么圆弧肯定过这一点，记下这点的极值。用叉积判断同号即可。4.特判端点大于1000的情况然后输出面积即可。这题精度好难调。求
2013-09-27 20:48:27
871
原创 已知三角形的三条中线长度求面积
题意：给出三角形的三条中线长度求面积。#include #include#include#include#includeusing namespace std;int main(){ double n,m,p; while(cin>>n>>m>>p) { if((m+n+p)*(m+p-n)*(m+n-p)*(n+p-m)<=
2013-09-22 13:52:51
5556
原创 HDU 4741 空间几何求两直线距离最近点
给出两直线经过的两点，没有平行的情况，求两直线最短距离和最短距离的两点。#include #include #include #include using namespace std;const double eps = 1e-8;//三维空间点struct Point{ double x, y, z; Point(double x=0,double y
2013-09-21 10:21:48
1028
原创 HDU 3662 三维凸包表面多边形个数
题意：求三维凸包表面多边形个数。我是来试模板的= =#include#include#include#include#includeusing namespace std;const int MAXN=1050;const double eps=1e-8;struct Point{ double x,y,z; Point() {} Point(d
2013-09-10 18:58:35
797
原创 POJ 3528 & POJ 2974 三维凸包
题意：给出n个点，求三维凸包及其表面积。下面这个模板从NOI选手的资料中拿到的，特别短，用的是卷包裹法，不过貌似必须保证四点不共面，要不就会出错。#include #include#include#include#include#include#include#include#define maxn 1000using namespace std;struct po
2013-09-10 17:52:37
733
原创 HDU 3978 斐波那契循环节
题意：给出f(f(f...f(n)...)) 总共嵌套k次。问最后模p的值是多少。首先应该明白的是这个题有循环节的。一个数模N的循环节就是这个数分解成素因子乘积的形式p1^a1*p2^a2*p3^a3...后，斐波那契模pi^ai的循环节的最大公约数。那么一个素数的k次幂的循环节=斐波那契模上这个素数的循环节乘上p^(k-1)。而一个素数p的循环节 如果p>5并且是5的二次剩余，那么循
2013-09-08 13:54:07
1073
原创 SPOJ 3931 求最大面积三角形
题意：给出N个点，范围小于5W，求出其中三个点围成的最大面积。先求出凸包，可以发现最大面积三角形的顶点必然在凸包上。。然后枚举凸包上的每条边，用旋转卡壳来找出距离当前边最远的点，此时更新最大面积即可。#include #include#include#include#includeusing namespace std;#define maxn 50500struct poi
2013-09-05 16:52:43
978
原创 HDU 3977 求斐波那契循环节
题意：求斐波那契数列模一个数的循环节的长度。分析过程：首先我们知道fib数列模p如果出现了连续的1，0就意味这着开始循环了，因为接下来的项就是1 1 2 3 5等等。那么很显然如果在第k位第一次出现了1，0，那么对于以后的1，0都可以表示为k*m。 那么，现在我们考虑如果fib数列模p在第pos位第一次出现了0，那么设0前面的那个数为a，则接下来的序列将是a，0
2013-09-03 20:04:34
2044
原创 HDU 2522 有理分数的循环节
题意：输出1/n. (是循环小数的,只输出第一个循环节).直接模拟除法了。。#include #include#include#includeusing namespace std;bool a[200000];int main(){ int n,t,div; scanf("%d",&t); while(t--) { memse
2013-08-23 16:17:03
1388
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人