curiosity@forever-CSDN博客

原创 centos7系统hadoop完全分布式安装

CentOS 7 中配置 Hadoop 3.1.2 完全分布式 | Binguner's Blog 学习 Hadoop 的完全分布式搭建。https://binguner.com/2019/03/23/CentOS-7-%E4%B8%AD%E9%85%8D%E7%BD%AE-Hadoop-3-1-2-%E5%AE%8C%E5%85%A8%E5%88%86%E5%B8%83%E5%BC%8F/参考的主题文章是上面这篇，主要步骤是按照上述来做。其中有很多的细节是需要自己去查询和完善的。主要步骤：

2022-02-27 17:35:22 1259

原创 Centos7安装测试kafka（2.13）

Linux CentOS 7.4 环境下安装Kafka - 简书

2022-02-10 21:29:45 937

原创 centos7安装docker，并安装nginx等软件

docker安装-centos7_墨迹-CSDN博客docker安装直接上链接，step by step。如果习惯英文，直接看官方文档也是可以的。Docker安装常用软件1 - 简书安装常用软件链接。主要是熟悉一下docker的一些常用命令。...

2022-02-02 15:47:35 2268

原创多台centos7（虚拟机）安装zabbix-server、zabbix-agent，并在zabbix-server端部署grafana前端

Zabbix 5.0版本的详细安装教程_夏夏不吃糖的博客-CSDN博客_zabbix5.0很成熟的安装步骤，直接上参考的链接，step by step就可以了。实际在操作中发现有一个问题需要reboot虚拟机解决。即在实操中会发现zabbix server重启不成功，查看zabbix server log日志（路径在配置文件中）可以发现报错，原因是selinux那个disabled的配置需要重启才能配置成功。...

2022-01-30 15:37:57 982

原创 ELK环境的搭建

我再win10环境中搭建的 logstash + eleastic search + Kibana的环境，基本是根据下面这篇文章来的。http://blog.csdn.net/dotedy/article/details/50533687搭建的过程也比较简单，基本就是下载、配置、启动。主要是测试性质的，感觉用来做监控系统还是不行，这个是做日志分析的，跟监控还是有差距。

2016-08-11 11:08:54 463

原创 YOUYOU深入学习Ganglia之六（ganglia编译&函数的调用）

第一，gmetad的编译1. 配置ganglia源代码，注意默认不会配置gmetad，因此需要./configure --with-gmetad2.make3.make install（可有可无，会把需要的东东复制到指定的位置）当然，如果你要使用MongoDB的c语言驱动，那么需要先安装libmongo-client这个库。然后添加include 和 lib的库到gmetad文件夹

2013-07-01 20:05:47 1583

原创 YOUYOU部署MongoDB系列之四（测试MongoDB性能）

提纲：目前使用的工具：1 profile2 export3 journal4 各种参数

2013-07-01 19:46:19 1111

原创 YOUYOU深入学习Ganglia之五（Ganglia的瓶颈在哪里）

Ganglia的官方说它是一个能够应对大集群监控的系统。那么对于ganglia来说，或者对于一个集群的管理系统来说，其瓶颈在哪里呢？请看下图，这是我自己总结的一个ganglia系统瓶颈分析。从上面的图片可以看出，系统的瓶颈在于master node。尤其是这里面的DISK IO负载是很高的。我曾经测试过，如果用PC机获取大约200台node的数据，根本就不能正常运行。总结经验如下：

2013-07-01 17:12:22 1945

原创 YOUYOU深入学习Ganglia之四（Ganglia metrics 讲解）

Ganglia的metrics数量众多，分为系统内置的和用户扩展的，那么这些检测的两到底是什么含义呢，是什么数据类型的呢？我分析了一下Ganglia的代码，总结了一个表格，读者可以参考一下。

2013-07-01 16:46:41 1962

原创 YOUYOU深入学习Ganglia之三（gmetad的软件架构）

Ganglia这个东西，目前的情况是测试的多，真正在数据中心部署过的人少；使用的多，真正能了解其代码架构的人少。这里根据我的经验，分解一下ganglia的gmetad的软件架构，欢迎大家交流。上面的图片是我本人自己总结的。MongoDB部分是我增加的，读者大可以略去不看。从上面的图中，读者可以发现以下信息：1 针对每一个cluster，gmetad都会开启一个线程来处理，这就要

2013-07-01 16:41:48 3647

原创 YOUYOU部署MongoDB系列之三（副本集配置持续更新）

今天我测试了一下MongoDB的副本集的配置。首先从概念上说一下MongoDB副本集和主从复制的区别。其实副本集（Replica Set）是主从复制的高级形式。高级在哪里呢？主动复制实现了数据备份+读扩展，但是master一旦down掉，需要手动启动slave。副本集在此基础上实现了备份自动重启的功能，也就是某一台slave会挺身而出，担当起master的职责。

2013-06-20 15:21:53 2165

原创 YOUYOU部署MongoDB系列之二（主从复制）

目前我正在进行MongoDB的双机热备方面相关的工作。根据我目前看到的MongoDB方面的材料，MongoDB的实际部署有三种方式，分别是“主动复制”，“副本集”以及“分片副本集”。首先我们从最简单的开始，也就是先来做“主从备份”。首先明确我只是测试，测试觉得不错会部署在我们的项目的服务器上面。介绍一下我的testbed，三个虚拟机，安装的都是ubuntu12.10的x86_64的服务器版

2013-06-19 15:47:17 1689

原创 YOUYOU部署MongoDB系列之一（安裝与启动持续更新）

1. 安裝MongoDB的安裝本身並不複雜，但是一定要參照官方網站上面提供的安裝教程來做。這樣子能夠保證安裝的版本都最新的。AWS建議安裝MongoDB2.2以上的版本。MongoDB本身還是處於發展之中，因此選擇比較新的版本，能保證儘快得到最新的功能。我已經在Ubuntu 12.04 和CentOS 5.9 Final CentOS 6.4 Final上面試過了，都可以安裝到最新的版

2013-05-15 21:07:07 1186

原创 YOUYOU深入学习Ganglia之一（建立Grid）

如果你是一个对云计算和数据中心比较关注的人，相信一定听说过Ganglia这个名字。Ganglia是加州伯克利分校开发的一个数据中心监控系统（Data Center Monitoring System）。前几个月，我在一个真实的数据中心中部署了Ganglia。虽然说界面不是很精致，但是Ganglia这个系统还是很不错的，稳定性、可扩展性、规模性（Scalitily）都比较让人满意。在接下来的日子里，

2013-04-30 20:29:12 3737

原创 YOUYOU深入学习Ganglia之二（转存RRD到MongoDB三种方案）

我们都知道Ganglia的数据都是存储在RRDTool的数据库中的。但是，或许在有的应用中，我们想把RRD的数据转存到Mongodb或者MySQL中，是否可以呢？答案是肯定的！我现在提供两种比较可行的方案，这两种是我亲自测试过的：1 工具为Perl语言；RRD的驱动为RRDTool::OO，在CPAN中可以找到；Mongodb的驱动为Mongodb。这种方案的优点在于，Perl语言的模

2013-04-30 12:52:06 3782

转载 Ubuntu 12.04 MySQL数据库的配置

之前的一段时间一直在做数据中心监控和控制平台开发的一些工作。主要是软件工程方面的，从Use Case 到 Features 再到Functional Flow，最终通过基础架构和方法的调研，逐步形成了新的Architecture。整个过程下来，觉得软件工程方面的提高还是比较明显的，另外对项目的进一步工作也逐渐明晰。现在应老板的要求，从系统架构设计转换到领导开发系统的数据存储部分。目前数据存储部

2013-03-27 23:18:56 1124

转载 UML建模技术

最近在项目开发中用到书写项目用例，有幸读到了CSDN博客中的“UML建模技术专栏”。我认真审读了刘伟（Sunny）博士的UML用例建模解析（一）UML用例建模解析（二）UML用例建模解析（三）感觉受益匪浅，很快的掌握了用例书写的基本概念和方法，记下网址，与大家共同学习。转载网址：http://blog.csdn.net/column/details/umlmodel

2013-02-13 14:16:27 550

转载浅谈 qmake 之 pro、pri、prf、prl文件

原文地址：http://blog.csdn.net/dbzhang800/article/details/6348432尽管每次和cmake对比起来，我们总是说 qmake 简单、功能少。但是qmake仍然是一个非常复杂的东西，我想大多人应该和我一样吧：不是太清楚CONFIG等变量到底如何起作用的用过的qmake内置变量和函数不超过20个看Qt Creator源码或者QtSol

2012-11-30 19:31:09 709

转载 OpenGL函数思考-glLoadIdentity

原文地址：http://blog.csdn.net/shuaihj/article/details/7228265函数原型:void glLoadIdentity(void)函数说明:OpenGL为我们提供了一个非常简单的恢复初始坐标系的手段，那就是调用glLoadIdentity()命令。该命令是一个无参的无值函数，其功能是用一个4×4的单位矩阵来替换当前矩阵，实

2012-11-27 15:21:28 608

转载 Linux系统 GCC搜索头文件和库文件的执行顺序

一、头文件 gcc 在编译时寻找所需要的头文件： ※搜寻会从-I开始 ※然后找gcc的环境变量 C_INCLUDE_PATH,CPLUS_INCLUDE_PATH,OBJC_INCLUDE_PATH ※再找内定目录/usr/include /usr/local/include/usr/lib/gcc-lib/i386-linux/2

2012-11-22 18:55:11 2885

原创 ubuntu12.04 + Qt + glut + C 环境搭建和示例代码

第一步：实现ubuntu12.04下面，C语言使用GLUT开发环境搭建。这里我使用了一个网上的教程，请注意不要复制代码，因为可能造成编译出错。原文地址：（http://singhgurjot.wordpress.com/2012/05/17/how-to-install-openglglut-libraries-in-ubuntu-12-04/）How to I

2012-11-22 14:56:47 2448

转载 VS 2010 openGL 配制方法

这个是VS2008配置openGL的方法，我用vs2010测试过，可以使用。新手可以用来快速了解openGL的基本使用方法。转载地址：（http://blog.csdn.net/Ididcan/article/details/4490797）OpenGL作为当前主流的图形API之一，它在一些场合具有比DirectX更优越的特性。1、与C语言紧密结合。OpenGL

2012-11-21 20:28:12 701

转载 Namespace

NamespacesNamespaces allow to group entities like classes, objects and functions under a name. This way the global scope can be divided in "sub-scopes", each one with its own name.The format of

2012-11-20 21:04:29 682

原创 qwtplot3D安装——终结解决方案（YOUYOU版）

首先不得不说，要感谢北京邮电大学的阿科。感谢他慷慨的分享和极具科学态度的记录，将自己搜集到的众多资料收集整理发布，拯救众多苦逼寻找方案的程序员于苦海之中。因为最近接手新的项目，涉及到使用opengl做surface plot编程。第一个想到的就是能否使用现有的开源API来完成这些工作。通过多方寻找，我发现了两个开源的project：1 qwtplot3d（http://qwtplot3d.so

2012-11-19 21:15:20 6205

原创修改Qt编写的程序图标

使用Qt Creator，修改的方法：1 首先准备个ICO图标。例如：A.ico。2 用记事本新建个txt，里面就写一行：IDI_ICON1 ICON DISCARDABLE "A.ico" 保存，修改后缀为.rc，例如： myapp.rc3 把它和图标A.ico一起复制到QT工程项目的目录。4 打开你的QT工程文件.pro（例如 "myapp.pro" ），

2012-10-31 16:24:28 717

原创关于C++的内存格局

C++程序的内存格局通常分为四个区：1 全局数据区（data area）2 代码区（code area）3 栈区（stack area）4 堆区（即自由存储区）（heap area）全局变量、静态数据、常量存放在全局数据区所有所有类成员函数和非成员函数代码存放在代码区为运行函数而分配的局部变量、函数参数、返回数据、返回地址等存放在栈区余下的空间都被作为堆

2012-10-25 19:15:47 1075

原创 Qt中16进制数据的QByteArray与QString的转换

背景介绍：最近在做Qt串口相关PC机软件的开发。于是涉及到很多IO的操作，而IO的接收经常会存放在QByteArray里面。于是QByteArray和QString之间的转换就不可避免。像这种转换，在网上已经很多了，这里我着重介绍我在实际应用中的两种方法，而且是转换为16进制数的方法。QByteArray to QString 的第一种方法：/*******************

2012-10-24 14:06:25 25521

原创 QT中常用的快捷键

最近做Qt的项目，然后记录下比较常用的快捷键：Ctrl+I 自动对齐Ctrl+/ 注释行，取消注释行Ctrl+Ctrl+> 展开代码块，注意同时按下ShiftCtrl+[ 跳到代码块的头部Ctrl+] 跳到代码块的尾部Ctrl+L 跳到某一行

2012-09-26 14:14:32 2431

原创 Qt的各部分功能

接触Qt有挺长的时间了，可是一直没有机会能用心的学一下，只能是支离破碎的学一些东西。在这里先写一下最近的一些体会。Qt是一个完整的C++框架。之所以这么说我觉得是因为Qt构建了一个完整的C++库，里面包含了完整的Qt类。同时Qt又提供了众多的工具，比如编辑器、编译器、调试器，比如完整的帮助文档、UI设计的工具和翻译工具，甚至还有一些仿真器，真的是一个完整又漂亮高效的开发系统。Qt Crea

2012-09-18 14:50:43 1782

原创 Embedded Linux下Java Socket迅速判断远端网络断开

首先介绍一下我的平台和应用环境。我使用的硬件平台是友善之臂Micro2440，软件平台是Embedded Linux，kernel版本是2.6.32，使用的java语言。可能大家知道在使用Java Socket编程的时候经常要检测网络是不是完好连接的。比如Socket服务器检测和客户端的连接是否已经断开。首先想到socket类的方法isClosed()、isConnected()、isInpu

2012-09-11 15:46:06 1102

原创友善之臂Micro2440下的Embedded Linux的定时reboot

近期因为在实习公司里做的ARM服务器用到定时重启，于是今天就查了一下相关的资料。发现没有针对我目前的开发平台的具体方法，于是自己研究出来一套方法，供大家互相学习。友善之臂Micro2440下的Embedded Linux是自带crontab这个命令的，但是默认没有开启。大家可以参照以下的命令，实现定时重启功能。#config reboot time1. mkdir -p /var/

2012-09-10 14:44:13 849

原创 MyEclipse中添加库文件（.jar）的方法

对于新手来说，MyEclipse使用起来还是比较繁琐，下面是我最近摸索出来的添加库文件的方法，记录下来。1 右键工程的“属性”文件。2 选择当时用的库。3 向选定的库中添加jar。4 选择“edit”。5 添加jar文件。6 在对话框中选择添加。

2012-09-04 15:44:40 4259

原创友善之臂Micro2440下的Embedded Linux的硬件时间设置

最近一直在做Embedded Linux下的项目，平台是友善之臂Micro2440。不过有时会发现，因为开发板用的时间比较长了，实时时钟的电池会没电，于是造成系统时间设置发生错误。解决方法当然是要更换新的电池，可也要设置一下时间问题，主要的命令如下：#date 2012.8.27-16:05:59#hwclock -w第一句的意思是设置系统时间为2012.8.27-16:05:59

2012-08-27 16:26:07 661

原创 Unix与C语言的诞生简史

1 Multics 麻省理工学院最早的分时操作系统运行Space Travel程序的平台2 1969年，Unix诞生 AT&T Ken Thompson 汇编运行Space Travel程序的平台为了好玩3 1972年，改写了Unix， AT&T Ken Thompson B语言，具备了可移植性4 1973年， AT&T Dennis Richie 扩展和调整B语言，形成了今

2012-08-17 11:00:55 1836

原创友善之臂Micro2440下的Embedded Linux中Java遇到的问题

最近在做一个项目中使用了友善之臂Micro2440，其中系统使用的是Embedded Linux。遇到了一个问题，就是程序运行非常的缓慢。开始以为是读写文件的问题，于是测试过将数据写到excel中、sqlite数据库中、csv文件中，结果都是不行。也曾经以为是JVM的内存不够，后来设置-Xms16m -Xmx32m，结果还是不行。最后经过测试发现，居然是SimpleDateFormat

2012-08-13 21:03:19 794

原创 java文件的读写

首先写出java中三种读写文件的标准方法：1） File file = new File ("hello.txt");FileInputStream in=new FileInputStream(file);2） File file = new File ("hello.txt");FileInputStream in=new FileInputStream(file);

2012-08-12 13:53:07 462

原创 java读写Csv文件的方法

最近在做嵌入式Linux平台上的服务器，使用的工具是Java。在项目中一方面要将所有数据记录在日志文件中，存储于嵌入式Linux平台上；另一方面要将实时数据存放在一个表格里，随时供网络查询。日志文件我们曾经选用过txt文件，这个最简单；excel文件，使用jxl；使用过sqlLite嵌入式数据库，使用第三方的java库。调试通过，运行的还算不错。不过遇到了一个java虚拟机内存不足的问题，

2012-08-03 10:21:42 950

原创 Linux设置环境变量的方法

这个方法是根据我网友和自己的经验整理的，供日后参考。1. Export命令可以设置环境变量，但是这个方法要求每进入一次系统都要重新设置一遍，非常麻烦。2. Linux提供了自动设置环境变量的方法，那就是更改 .bashrc 文件。但是.bashrc文件有两种：一个是 /etc/bashrc。其中/etc/bashrc是被每个用户执行的，也就是说是影响整个操作系统的。/etc/b

2012-07-31 16:19:40 688

原创 Linux与C语言的文件读写

目前被广为人知的操作系统中，个人了解的比较多的是Linux。但是它和Unix是非常像的，毕竟两家是爸爸和儿子的关系。而对于Windows，因为闭源的关系，很多东西我们不得而知。近来又常常读一些Linux下的C的代码，突然发现一个问题，就是ANSI C的很多概念性的问题是基于Linux/Unix的，至少说是非常相似的。那么我大胆的假设一下，为了保持兼容或者是借鉴他人的优点，其实Windows肯定很多

2012-05-23 16:00:41 4874

转载基于Socket的UDP和TCP编程介绍

这篇文章结合socket比较详细的介绍了TCP的三次握手等知识，很好的文章。2010年06月02日星期三 10:30一、概述　　TCP（传输控制协议）和UDP（用户数据报协议是网络体系结构TCP/IP模型中传输层一层中的两个不同的通信协议。　　TCP：传输控制协议，一种面向连接的协议，给用户进程提供可靠的全双工的字节流，TCP套接口是字节流套接口(stream s

2012-05-12 20:57:53 600