- 博客(32)
- 问答 (1)
- 收藏
- 关注
原创 自动化vim安装
自动化安装vim环境:vim version:VIM - Vi IMproved 8.1(安装vimplus会自动升级)python version:Python 2.7.12os :Ubuntu 16.04.5 LTSkernel:4.4.0-142-genericroot用户下:前提:由于YCM安装较慢,建议首先编辑~/vimplus/.vimrc文件,将Plugin 'Vall...
2019-09-10 09:42:07
310
原创 centos6.7 yum换源
CentOS6.7 yum源更换为aliyun的源1.备份原有的CentOS-Base.repomv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak2.下载aliyun源wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun...
2019-03-24 11:11:51
1669
原创 glibc2.12升级至2.14
升级glibc2.12—>2.14遇到的问题。安装gblic2.14后,软链接从/lib64/libc.so.6->/lib64/libc-2.12.so修改为/lib64/libc.so.6->/home/hadoop/workspace/glibc2.14/lib/libc-2.14.so.rm -rf /lib64/libc.so.6 ln -s /home/hado...
2019-03-24 10:25:51
1670
原创 KMP
#include <iostream>#include <string.h>#include <stdio.h>using namespace std;char str1[1000001];char str2[1000001];void getNextArray(char *str, int *next) { int len = str...
2018-12-29 00:45:24
143
原创 代码之外
对问题的思考1.如何界定问题的边界?2.如何清晰的描述问题?3.准确描述如何解决问题?对结果负责的勇气和能力1.以结果为导向2.极强的自控力和执行力3.不服输,力求最好...
2018-12-11 20:20:18
168
原创 centos--Debian 安装VIM ,从7.4升级至8.1
下载vim源码编译即可# git clone https://github.com/vim/vim.git# cd vim# make -j 8# make install# cp src/vim /usr/bin# vim --version安装vim插件管理器1.Set up vundlegit clone https://github.com/VundleVim/Vund...
2018-09-27 17:23:45
6015
原创 c++ 单例模式--构造函数传递参数
c++ 单例模式–构造函数传递参数class Singleton: { public: static Singleton * GetInstance(MineStrut* pMineStruct) { if (m_pInstance == NULL) { m_pInstance = new Singleton(pMineStruct);...
2018-08-10 15:34:32
6217
1
原创 服务器上部署git服务器
1. 配置ssh2. git init --bare sample.git // eg:/data/git3. git clone git@server:/srv/sample.git // 在自己的工作目录.eg:/home/jack4. git add .5. git commit -m 'commit'6. git push origin master...
2018-08-09 10:31:26
391
原创 gperftools的安装与使用
centos 7 x86-64安装环境:yum install gperftoolsyum install gperftools-develtest.cc#include &amp;lt;iostream&amp;gt;#include &amp;lt;gperftools/profiler.h&amp;gt;int main() { ProfilerStart(&quot;/tmp/test&
2018-08-07 00:18:36
9796
原创 配置IB交换机
参考书172页minicom -sswitch-fdc2d8 [standalone: master] > switch-fdc2d8 [standalone: master] > enableswitch-fdc2d8 [standalone: master] # show ports typeswitch-fdc2d8 [standalone: master] # c...
2018-07-27 16:04:47
9453
原创 延迟,吞吐和带宽
关于系统领域的论文中经常出现Latency, Throughput 和 Bandwidth.这个三个名词也经常用于Storage(disk, memory), network(Ethernet, RDMA) 和 software parts, 需多次测量取平均值。Latency Latency is the time required to transmit a packet acro...
2018-07-03 20:14:23
1422
原创 makefile编写系列一
makefile 生成两个可执行文件# a simple makefileCC = gccCFLAG = -lrdmacm -libverbsobj1=client.oobj2=server.otarget1=clienttarget2=serverall: $(obj1) $(obj2) $(CC) -o $(target1) $(obj1) $(CFLAG) ...
2018-06-27 00:01:08
162
原创 记录下近期的事
记录2个不错的博客remiz 主页 -wisc黄开心主页-sjtu 关于持久性内存Focus: persistent memory, file system.专注、极致、口碑、快 —xiaomi独立做出有代表性的成果。...
2018-03-09 13:21:35
170
原创 Notepad++如何配置gcc/g++编译器
1.Windows 平台首先安装MinGW,并加入系统变量path中。2.运行notepad++,运行,输入cmd /k g++ -o $(NAME_PART).exe "$(FULL_CURRENT_PATH)" & PAUSE & EXIT保存为 compile运行生成的可执行文件,运行,输入cmd /k "$(NAME_PART)" & PAUSE & EXIT保存为 run
2017-12-29 09:27:31
3096
1
原创 快速排序
基本思想:快速排序是基于分治策略的一种排序算法。选择一个基准元素,然后通过排序将数据分割成独立的三部分,其中一部分的所有数据比另一部分的所有数据都要小,中间为基本点。然后再按此方法分别递归对两部分进行排序,以达到整体有序的过程。对于输入的数组a[p:r]按以下3个步骤进行排序: 1.分解:以a[q]为基准元素,将a[p:r]分为a[p:q-1],a[q],a[q+1:r]。其中a[p:q-1]中任
2017-08-19 14:15:31
236
原创 hadoop-2.7.3伪分布式的搭建
进入hadoop安装目录etc/hadoop需修改如下配置项:1.core-site.xml<configuration> <property> <name>hadoop.tmp.dir</name> <value>/home/damon/hadoopdata</value> <description>Abase for other tempo
2017-04-09 16:29:46
566
原创 Spark基础知识系列一(从hdfs获取文件)
Spark获取文件spark可以从本地,hdfs文件系统,s3,及hadoop支持的文件系统获取文件。从本地:file:///usr/local/xx.txt.import org.apache.spark.{SparkConf, SparkContext}/** * Created by Damon on 3/29/17. */object HelloScala { def main
2017-03-29 22:59:13
3556
原创 通过GCC编译器编译c语言
GCC编译C源代码有四个步骤:预处理—->编译—->汇编—->链接。可以利用GCC的参数来控制执行的过程,这样就可以更深入的了解编译C程序的过程。下面将通过对一个程序的编译来演示整个过程。#include <stdio.h>int main(){ printf("happy new year!\n"); return 0;}1:预处理:编译器将C程序的头文件编译进来,还有宏的替换
2017-03-24 14:16:10
8782
原创 fio安装使用
fio安装下载解压编译$sudo tar -xvf fio-2.2.5.tar.bz2 -C /home/hadoop$cd fio-2.2.5$yum install libaio-dev //异步i/o测试$sudo make$sudo make install# vim ~/.bashrc添加一行:alias fio='/home/hadoop/fio-2.2.5/fio'
2017-03-22 22:23:31
1941
原创 pmfs安装
PMFS介绍PMFS是用于持久性内存的文件系统。文件系统经过优化,可轻松实现提供对通过CPU加载/存储指令直接访问的持久性内存的访问。它直接管理持久性内存,避免了块驱动程序层和页面缓存层,从而为持久区提供同步读写操作。它支持所有现有的POSIX样式文件系统API,以便无需修改应用程序即可使用此文件系统。此外,PMFS提供对巨大页面的支持,以最大限度地减少TLB条目的使用并加快虚拟地址查找。PMFS的
2017-03-22 20:03:12
3377
原创 pmbd安装
一、pmbd介绍This software implements a block device driver for persistent memory (PM).This module provides a block-based logical interface to manage PM that is physically attached to the system memory bus.
2017-03-22 19:37:43
792
原创 Filebench的安装与使用
下载建议下载filebench-1.5-alpha3.tar.gz,笔者在Cent OS 6.7 下测试。安装$sudo tar -zxf filebench-1.5-alpha3.tar.gz -C /usr/local$yum install gcc$yum install flex bison解压后需要安装gcc、lex和yacc(linux下是用flex和bison来分别代替lex和ya
2017-03-03 19:28:44
4189
原创 主机访问虚拟机Web服务器
在虚拟机上跑分布式应用是往往需要用WebUI查看namenode和datanode的相关信息,或者在服务器上跑分布式程序。直接在虚拟机上通过webui看不是很方便,现将其映射在主机上,通过主机的浏览器访问虚拟机的web服务器。
2017-02-26 14:27:02
17398
原创 使用Intellij Idea搭建Spark开发环境
环境:Cent OS 6.7jdk1.8.0_101Spark-1.6.3-bin-hadoop2.6.tgz下载安装包前去官网下载Spark-1.6.3-bin-hadoop2.6.tgz;或者是自己编译源码生成想要的对应的hadoop版本。 在centos下解压缩到指定目录(笔者为/usr/local/)$tar -zxvf Spark-1.6.3-bin-hadoop2.6.tgz -
2017-02-22 23:02:54
1604
原创 编译Spark-1.6.3源码--Maven工具
编译环境Cent OS 6.7JDK1.8.0_101Spark-1.6.3.tgz写在前面:由于maven源在国外,笔者用国内镜像(阿里云)代替。查看版本信息下载Spark-1.6.3.tgz,解压后查看pom.xml,可以看到scala版本为2.10.5,zinc版本为0.3.5.3,Maven版本为3.3.3。下载安装包去官网下载scala-2.10.5.tgz、apache-maven-3.
2017-02-20 23:50:04
2076
原创 Spark安装与使用
本教程的具体运行环境如下:CentOS 6.7Spark 2.1.0Hadoop 2.7.3Java JDK 1.8.0Scala 2.11.8准备工作安装JDK,并配置好JAVA_HOME变量。此外,Spark会用到HDFS与YARN,因此请先安装Hadoop,具体请浏览hadoop安装教程。安装Spark本教程选用的是Spark 2.1.0版本,选择package type为Pre-
2017-01-20 21:38:13
788
原创 Hadoop安装教程-集群配置
主要思想1.选定一台机器作为 Master2.在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境3.在 Master 节点上安装 Hadoop,并完成配置4.在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境5.将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Sl
2017-01-17 23:38:14
1117
1
原创 Spark快速入门之SBT安装
安装sbt本文方法有些繁琐,可以查看github最新更新:用sbt编译spark源码linux版本:CentOS6.7sbt: 0.13.9Spark中没有自带sbt,需要手动安装sbt,我的方法是下载sbt-launch.jar,然后将源改为国内源(aliyun),我选择将sbt安装在/usr/local/sbt中。$sudo mkdir /usr/local/sbt$sudo cho
2017-01-16 11:25:14
15356
原创 Spark基础知识系列(1)
Spark的设计目的是克服MapReduce模型缺陷,能在多场景处理大规模数据。它的计算 模型是基于内存的抽象数据类型RDD.适用于批处理,迭代式计算模型。 Spark体系结构包括Spark SQL,Spark Streaming,MLlib,GraphX. Core库中包括:Spark Context抽象数据集RDD调度器SchedulerShuffleSerializer等Ha
2017-01-12 23:35:13
349
原创 eclipse字符集编码设置
1. 设置JSP格式依次点击window-- preferences --web--JSP files 。在右边的encoding下拉框选择UTF-8编码就行。以后新建JSP文件,就都是UTF-8编码了。2. window -> Preferences ->general -> Workspace -> Text file encoding选择Other,将编码改变为
2016-04-17 01:07:45
667
原创 eclipse入门系列(一)jdk与tomcat的配置与安装
1.去官网下载eclipse和jdk及tomcat(绿色版)2.jdk很简单,按照步骤一步步进行,配置计算机环境变量(网上教程),验证是否配置成功,命令行cmd进入,输入javac是否出现版本信息,若如图所示则配置成功。3.配置tomcat。这个有点复杂,会出很多问题,关键在于下载绿色版Tomcat!绿色版Tomcat!绿色版Tomcat!直接导入eclipse-windows-perfe
2016-04-09 16:47:05
1149
空空如也
如何在手机上输入网址由pc端网页自动跳转到已写好的移动端网页?
2014-08-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人