自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(42)
  • 收藏
  • 关注

原创 C语言 指针数组学习小记

在项目开发过程中,遇到了指针数组的相关使用,发现了自己的一些不足之处,以此做个小小的学习记录。 实际开发场景是对结构体中的一个结构体指针数组对象的操作,这里把问题简化:现在需要对指针数组所指向的内容赋值,如有int *a[5],现有int *b指向a,需要对a指向的内容进行操作。需要确认问题:在对b赋值时,b=a还是b=a[0]原代码写法及调试可以看到:调试结果:这里b的值...

2018-08-15 16:45:09 259

原创 intel-pcm简单介绍

Performance Counter Monitor(PCM)是一个由英特尔开发的,也是基于PMU(performance monitoring unit)一个性能检测工具。它是运行在msr 内核模块(perf是内核系统调用吧?)上的,提供了C++ API。相关的源码可以从git上查看https://github.com/erikarn/intel-pcm/blob/ecc0

2016-07-19 12:20:28 5828

原创 mysql数据库拷贝到另一个服务器上

服务器A,B都安装了mysql,然后需要把服务器A上的数据库DB1都拷贝到服务器B上。1.在服务器A上操作mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名mysqldump -u root -p DB1 > temp.sql 2.通过scp把temp.sql复制到到服务器B上3.在服务器B上操作mysql -u root -pmy

2016-07-18 13:10:04 8552

原创 通过perf_event函数获取ipc

其实这个问题困扰了蛮久,主要还是不太会用..最后参考git上一个代码搞定了,还是很开心的。https://gist.github.com/teqdruid/2473071直接上代码吧:#include #include #include #include #include #include #include #include #include #incl

2016-07-11 13:52:17 1957

原创 C语言操作mysql

参考http://andrew913.iteye.com/blog/433280   http://a1liujin.blog.51cto.com/5519498/1686202一个例子程序#include"/usr/include/mysql/mysql.h"#include#include#include#includeint main(int arg

2016-07-06 09:38:21 563

转载 高级语言的编译:链接及装载过程介绍

转自http://tech.meituan.com/linker.html高级语言的编译:链接及装载过程介绍大龙,志超 ·2015-01-22 15:00###引言随着越来越多功能强大的高级语言的出现,在服务器计算能力不是瓶颈的条件下,很多同学会选择开发效率高,功能强大的虚拟机支持的高级语言(Java),或者脚本语言(Python,Php)作为实现功能的首选,而

2016-06-16 15:54:36 1658

原创 Leetcode-234. Palindrome Linked List(判断链表是否回文)

要求使用O(n)的时间复杂度和O(1)的空间复杂度class Solution {public: bool isPalindrome(ListNode* head) { ListNode *fast=head,*slow=head,*aux=NULL,*temp; while(fast&&fast->next){ temp=

2016-06-03 10:43:30 358

转载 Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0

转载自:http://www.powerxing.com/install-hadoop-in-centos/ ubuntu下安装为:http://www.powerxing.com/install-hadoop/本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2,适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本,主要参考了官方安装教

2016-06-02 17:57:16 716

原创 docker学习-进入的container及创建本地镜像

场景:由于无线网断开,SSH连接断开了,需要重新进入原来docker的container里。解决:我一开始重新docker run image(错误的方法,是重新启动了一个container),发现下载的东西没有。参考网上的资料,我用了如下方法可行:1. 查看当前有哪些container,根据时间,image-name找到对应的container#docker ps -

2016-06-02 10:44:54 4544

原创 linux下命令执行结果作为其他命令输入参数

1. 通过ps命令获取对应程序的pid比如这里要获取redis-server这个进程的pid# ps -ef | grep redis-serverroot 60415 1 93 Feb17 ? 8-04:12:36 redis-server *:6379root 61823 59236 0 01:26 pts/1 00:00:

2016-06-01 10:56:53 24009

转载 巅峰对决之Swarm、Kubernetes、Mesos

转载自:http://dockone.io/article/1138  感谢作者【编者的话】这篇文章对比了三大主流调度框架:Swarm、Kubernetes和Mesos。文章不仅从理论上讨论了各个框架的优缺点,还从两个实际的案例出发,分析了每个框架具体使用方法。@Container容器技术大会将于6月4日在上海光大会展中心国际大酒店举办,来自携程、PPTV、蚂蚁金服、京东、浙江

2016-05-26 13:31:04 8653

原创 关于perf_event_open()的介绍

本文主要参考:http://man7.org/linux/man-pages/man2/perf_event_open.2.html场景:项目中需要一个能实时检测某个进程的IPC(instructions per cycles)方法。用它最开始是论文《CPI²:CPU performance isolation for shared compute clusters》 3.

2016-05-26 12:32:09 7914 2

翻译 什么是posix隔离器

http://stackoverflow.com/questions/34608691/what-is-posix-isolationposix isolation是Mesos的默认使用的隔离器。一下为stackoverflow对此做出的解释:Mesos uses isolators in its containerizer to isolate the resou

2016-05-26 10:02:20 454

原创 cmake安装

cmake安装过程中,tar zxf ./bootstrapmakemake install后提示:cmake --versionbash: /usr/bin/cmake: No such file or directory解决:export PATH=/usr/local/bin:$PATHexport LD_LIBRARY_PATH=/usr/

2016-05-19 00:24:31 797

转载 Framework开发指南 四

转自: http://www.hitdcos.com/read.php?tid=17&fpage=4自定义安装Framework Executor创建您的自定义executor之后,您需要将其提供给集群中的所有的slaves。. 一种发布 framework executor是当scheduler向slave发布tasks时让 Mesos fetch

2016-05-18 18:05:15 509

转载 Framework开发指南 三

转自:http://www.hitdcos.com/read.php?tid=16&fpage=4故障处理怎样搭建在故障时仍可用的Mesos frameworks在separate document中进行讨论。如何使用Executor 使用Mesos Command ExecutorMesos 提供了一个简单的executor,它可以

2016-05-18 18:04:00 650

转载 Framework开发指南 二

转自:http://www.hitdcos.com/read.php?tid=15&fpage=4Scheduler驱动API(Scheduler Driver API)Scheduler Driver管理着scheduler的生命周期 (e.g., 开始、停止和等着完成) 并且和 Mesos Master通信 (e.g., 发布Tasks、杀死Tasks等).注意这个接口

2016-05-18 18:02:42 777

转载 Mesos Framework开发指南 一

转自:http://www.hitdcos.com/read.php?tid=14&fpage=4Framework Development Guide简介:描述了如何基于Mesos构建应用.Framework开发指南在本文档中,我们把Mesos程序集称为Framework。 你可以在源代码目录MESOS_HOME/src/examples/看到Fr

2016-05-18 17:59:55 4937

转载 perf相关博客收藏

转自http://iamzhongyong.iteye.com/blog/1908118转自http://www.ibm.com/developerworks/cn/linux/l-cn-perf1/

2016-05-16 14:26:06 484

原创 docker学习-简单安装及使用

参考官网:https://docs.docker.com/linux/其实我是apt-get install docker.io 下载docker的运行守护进程 docker -d &然后可以从仓库下载image,比如docker pull ubuntu或者创建Dockfile,写入信息。然后docker build -t  image-namedocker run

2016-05-13 17:37:42 295

原创 关于perfmon2的使用记录

官方主页:http://perfmon2.sourceforge.net/   点击那个here的超链接就能下载。git: https://sourceforge.net/p/perfmon2/libpfm4/ci/master/tree/This package provides a library, called libpfm4 which is used to developm

2016-05-13 16:32:34 1236

原创 工作记录--更新内核

1 把所需的内核文件拷贝到需要更新内核的机器上。2 执行命令 dpkg -i  xxx.deb 文件3 更新后重启服务器。输入uname -a即可查看内核版本是否修改过来。PS:这里更新后的版本还出了个问题,内核版本还不太稳定,没有iptable_nat这个module.  在执行iptable -t nat  ... 会出错。

2016-05-10 16:30:56 266

原创 设置端口转发

在Mesos的集群启动过程中,由于外网网口都不够用,不能每个主机上都有外网网口,所以master启动还是需要内网IP(master有外网IP),然后通过端口转发,这样外网能访问#set iptablesiptables -t nat -A PREROUTING -p tcp -d master-outer-network-addr --dport 5050 -j DNAT --

2016-05-09 15:33:37 385

原创 执行test-framework报错error while loading shared libraries

场景:搭建完毕Mesos后,搭建marathon测试完全work但是想执行mesos自带的test-framwork,想研究下关于自己写framwork的代码。问题:执行test-framwork一直报错:error while loading shared libraries: libmesos-0.28.0.so: cannotopen shared obj

2016-05-06 18:49:30 1097

原创 Mesos安装过程中,make check downing 出错问题

Mesos下载安装过程里,在make check 的步骤一直出错。原因为是通过mvn下载,要在~/.m2/setting.xml 中设置代理 example-proxy true http xxxxxx xxx xx.xxx.* 然后即可正常继续安装,棒棒哒

2016-05-06 10:07:43 833

原创 一个简单python语言web server,输出机器上的HW信息

有个同学有个简单任务,写一个简单python语言API,从web上访问,输出机器上的HW信息。然后一起帮忙看看。其实对这方面一直不太熟悉,一开始不知道怎么下手。然后同事说要写一个web server。于是google了一些网上的代码套用。代码如下:from __future__ import print_functionimport urllibimport urllib2

2016-04-29 15:20:41 356

原创 configure: error: failed to find required module google.protobuf

安装mesos过程中:在../configure--with-glog=/usr/local --with-protobuf=/usr --with-boost=/usr/local这一步提示错误:configure: error: failed to find required module google.protobuf解决方法:apt-get intall p

2016-04-13 14:42:32 913

原创 linux服务器添加硬盘

先把服务器关机,断电源,再插入硬盘,然后重启。  不断电的话可能会导致bmc不work.fdisk  -l   查看是否检测到硬件。格式化硬盘  mkfs.ext4  /dev/sdb 然后挂载到目录上   moutn /dev/sdb    /tmp 然后在/etc/fstab 里面添加 /dev/sdb  /tmp    ext4   defaults   0     0

2016-01-20 11:57:23 933

原创 NTP时间同步设置

服务器端:apt-get install ntpvi ./etc/ntp.conf # Use Ubuntu's ntp server as a fallback.server 127.127.1.0 ibusrt# Access control configuration; see /usr/share/doc/ntp-doc/html/accopt.html for# de

2016-01-08 12:20:18 652

原创 number of map task :1

在执行job的时候 number of map task一直为1,资源利用率非常低。参考网上一些资料http://blog.csdn.net/wf1982/article/details/7200376http://dennyglee.com/2013/04/26/optimizing-joins-running-on-hdinsight-hive-on-azure-at-

2015-12-24 13:49:53 378

原创 ERROR [block nbd5: Receive control failed (result -32)]

问题:openstack在启动instance的时候总是只在controller node上(controller node上也有compute node),并提示错误 ERROR [block nbd5: Receive control failed (result -32)] 背景:之前openstack还是work的,然后dd了一个compute node后,所有host都重

2015-12-23 15:02:46 1112

原创 硬盘dd复制linux系统

要从服务器A上拷贝系统到服务器B先最好把A上面的进程都关闭,我是直接把A重启了。然后把B上的硬盘拆入服务器A中。  sda是A上原来的硬盘,sdc是B上拔下来的硬盘执行命令:dd dd if=/dev/sda of=/dec/sdc1T的大小,拷贝了将近6个小时,有点慢,可能东西有点多。把硬盘sdc拔下插回服务器B中。登录,修改/etc/hosts  , /etc/host

2015-12-22 10:00:04 572

原创 添加网桥

新建网桥   eth1为网口brctl addbr br1brctl addif br1 eth1ifconfig eth1 0.0.0.0dhclient br1关闭网桥ifconfig br1 downbrctl delif br1ifdown eth1 && ifup eth1

2015-12-17 09:48:27 567

原创 Failed to fetch all URIs for container

在重新搭建hadoop on mesos的时候。运行wordcount进行实验,发现在master上的task很顺利,但是在slave上的task都FAILED了。查看slave上mesos的log,可以看到错误信息:E1130 15:37:54.397516 157992 fetcher.cpp:515] Failed to run mesos-fetcher: Failed to

2015-11-30 16:26:15 1754

原创 查看apt-get install文件安装到哪里

背景:ECN4上做数据收集包括hddtemp,之前都是apt-get install hddtemp来完成的,然后ECN4上的网口用外网连接都无效,内网就可以,很是奇怪,但是内网可以通。这个问题暂时先不管,当前就是要ECN4上能读取hddtemp方法:在ECN2上查看命令执行下载了哪些文件,然后通过内网从ECN2上拷贝到ECN4上。ubuntu@cm1:~$ dpkg -L

2015-11-17 17:27:41 2595

原创 [ERROR] Terminal initialization failed; falling back to unsupported

搭建HIVE的时候遇到的问题:[ERROR] Terminal initialization failed; falling back tounsupported解决:在hadoop 用户下输入exportHADOOP_USER_CLASSPATH_FIRST=true搭建HIVE主要参考http://www.cnblogs.com/linjiqin/archive

2015-11-17 15:10:45 582

原创 virish start一个问题解决:kvm-spice: Permission denied

在virsh define XXXX.xml的时候,提示没有kvm-spice文件。果然从别的服务器上拷贝。接着在virsh start XXXX的时候提示:error: Failed to start domain unixbench_fc7fde1a-8690-11e5-988b-001e67b53fa5error: internal error: process exited wh

2015-11-09 13:58:19 1269

原创 libvirt通过virsh启VM--续

折腾了两天,终于搞定了,主要还是对python不太熟悉,踩了一些坑,记录下成长。这里是已经有3种image文件,随机生成虚拟机。最开始是想每起个VM都copy一个image文件,这样很不好,image每个文件至少1G多。然后小伙伴提醒了有增量虚拟机。然后网上查阅了下增量虚拟机http://www.linuxidc.com/Linux/2012-06/61692.htm#qemu

2015-11-06 17:00:56 427

原创 linux读取hdd_temp硬盘温度

1install sysstat(iostat isin this package):   apt-get install -y sysstat2. install hddtemp:   apt-get install -y hddtemp命令hddtemp获取温度,  如 hddtemp–n  /dev/sda      其中/dev/sda为目录

2015-11-06 16:36:14 8648

原创 记录通过libvirt的virsh命令启动虚拟机而不通过openstack

目标:之前收集数据都是通过openstack不停启动VM,现在想要在多台服务器上同事跑虚拟机收集数据,为了避免在除了controller上其他node上装openstack的麻烦,现要通过libvirt来创建,其实openstack也是通过调用libvirt来生成虚拟机,我们这里要绕过openstack这一层,生成虚拟机的iamge不变。开始通过openstack启动虚拟机,然后在/e

2015-11-04 16:13:22 5644

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除