- 博客(30)
- 收藏
- 关注
RSS订阅原创 HDFS命令
对于文件的操作，命令与linux的类似，但是要在前面加上hadoop fs其基本的格式为 hadoop fs 查看文件 hadoop fs -ls建立路径 hadoop fs -mkdir删除文件夹 hadoop fs -rm -r-r参数代表将此文件夹连同此文件夹下的所有文件删除将本地文件放到HDFS上 hadoop
2017-01-06 10:11:15
335
原创 scp命令
1、拷贝远程服务器文件到本地scp [email protected](远程服务器ip):/tmp/a.cpp ./2、本地文件传输到远程服务器scp ./a.test [email protected]:/tmp
2017-01-06 09:53:51
338
原创 按位取反操作
编程时： ~1 输出结果为 -2 ，~（-5）的输出结果为 4，很是疑惑，通过查阅资料终于明白。首先~是取反操作，计算机存储时是按照补码存储。 ~1 = -2计算步骤： 1的二进制表示--------------------------------0000 0001 按位取反----------------------------------------1111 1110
2016-12-19 11:27:29
4150
原创 解决idea不检查语法错误问题
使用idea编程时有明显的语法错误却不显示，找了很多原因都没解决，语法高亮，设置语法检查等都试过，然并卵。最终发现idea默认开启了省电模式（生无可恋...）关闭省电模式问题解决。
2016-11-29 16:00:32
20814
6
原创 pcap数据包转换成netflow
使用命令：nprobe -i 文件路径 -P ./ -D t命令执行后nprobe会解析pcap包以netflow的格式存储在本地netflow样本：
2016-11-22 14:33:59
3966
1
原创 使用nprobe抓取网络数据包存到本地
使用命令：nprobe -i eth0 --dont-drop-privileges -P ./ -D t-P后面是保存的路径-D表示存储在本地磁盘-D t表示以txt的格式存储在本地注：使用ifconfig命令查看网口，我的网口是ens33
2016-11-22 14:25:43
3053
1
原创 sbt打包的jar包提交到spark
使用idea创建sbt项目，创建过程详见url：http://blog.csdn.net/bitbyteworld/article/details/52782776?locationNum=15&fps=1在项目根目录下，打开终端，输入sbt命令，会出现“>”符号，继续输入package命令打包完成使用spark-submit命令提交到spark中本地提交命令：spark-submit
2016-11-18 10:12:38
2056
原创 scala编程环境安装
1、安装JDK官网下载 jdk安装包解压 gzip -d *.gz 下载的安装包是.gz格式，gzip解压后为.tar安装包需要继续解压 tar -xvf 安装包目录创建安装目录 mkdir /usr/java将解压后的目录移动到刚创建的目录下 sudo mv 当前目录 /usr/java/修改配置文件 sudo vim /etc/profiles
2016-11-18 09:58:19
364
1
转载 C++中面向对象的思想
C++语言是C语言的拓展，C语言是面向过程的，C++在C的基础上增加了面向对象的方法。 所谓面向过程的编程思想，就是分析解决问题的步骤，将这些步骤用一个个函数实现，最后一个个调用。 所谓面向对象的编程思想，就是将任何事物都看成一个对象，对象有各种属性(attribute)和行为(behavior)，在解决问题的过程中，将系统分解，使之模块化。
2016-04-25 15:07:01
1067
原创 protocol buffer 安装与使用
protocol buffer 安装与使用1、下载protocol buffer 测试版本：protobuf-2.5.0.tar.gz2、解压并安装，执行以下命令 tar -zxvf protobuf-2.5.0.tar.gz ./configure make check make install 3、书写 .proto文件package
2016-04-19 15:42:13
655
原创 SSH免密码登陆远程服务器
SSH免密码登陆远程服务器参考网站：http://jingyan.baidu.com/article/2fb0ba4043124a00f2ec5f0f.html背景：搭建Hadoop环境需要设置无密码登陆，所谓无密码登陆其实是指通过证书认证的方式登陆，使用一种被称为"公私钥"认证的方式来进行ssh登录。在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA/DSA
2016-01-27 19:59:08
374
原创 Could not get lock /var/lib/apt/lists/lock - open
使用apt-get进行软件的install或update时，有时会出现以下提示信息：E: Could not get lock /var/lib/dpkg/lock - open (11 Resource temporarily unavailable)E: Unable to lock the administration directory (/var/lib/dp
2016-01-26 09:33:11
433
转载 Apache日志解读 每列代表什么
Apche日志系列(1)：访问日志想要知道什么人在什么时候浏览了网站的哪些内容吗？查看Apache的访问日志就可以知道。访问日志是Apache的标准日志，本文详细解释了访问日志的内容以及相关选项的配置。一、访问日志的格式Apache内建了记录服务器活动的功能，这就是它的日志功能。这个《Apache日志》系列文章介绍的就是Apache的访问日志、错误日志，以及如何分析日志数据
2015-12-14 09:15:06
495
转载 Ring实现原理剖析
简介OpenStack是一个美国国家航空航天局和Rackspace合作研发的开源云计算项目，并成为Apache下的一个重要开源项目，目前已经发展到了180家公司参与其中。OpenStack Object Storage（Swift）是OpenStack开源云计算项目的子项目之一。Swift的目的是使用普通硬件来构建冗余的、可扩展的分布式对象存储集群，存储容量可达PB级。OpenStack
2015-12-03 17:52:33
1768
转载 python之bisect模块
今天看一致性hash算法的python实现用到了bisect函数，在网上找到下面这篇文章总结的很好 记录一下 先看看模块的结构： 前面五个属性大家感兴趣可以打出来看看数值，这里就不介绍了。 先说明的是，使用这个模块的函数前先确保操作的列表是已排序的。 先看看 insort 函数
2015-12-03 17:47:39
385
原创 SOCKET编程第二讲
socket网络编程1.1. 使用TCP协议的流程图 TCP通信的基本步骤如下：服务端：socket---bind---listen---while(1){---accept---recv---send---close---}---close客户端：socket----------------------------------connect---send---recv------
2015-02-08 23:56:32
980
原创 socket网络编程第一讲
先总结一下求职面试必看的几本书：《编程之美》、《剑指offer》、《Unix环境编程》、《Unix网络编程》、《POSIX多线程编程》，突然感觉心里很踏实，不再像以前迷茫，终于知道计算机专业毕业的我到底能干什么，既然这样就认认真真的学习吧，争取拿到bat的实习offer，加油。 网络字节序：由于不同的计算机系统采用不同的字节序存储数据,同样一个4字节的32位整数,在内存中存储的方式就不
2015-02-08 00:29:56
649
4
原创 IPC进程通信
这两天学习的东西有点多，感觉完全应付不过来了 ，一直在消化这几天学习的东西所以2号、3号、4号的学习内容没有及时总结，在此表示深深的愧疚，今天把这些天学习的知识点汇总一下。主要学习了IPC进程间通信，目前我所理解的IPC主要包括管道、共享内存、信号量。总结IPC前先复习一下多进程：一、进程创建： 1、system函数通过调用shell程序/bin/sh –c来执行string所
2015-02-05 22:20:11
643
原创 linux中select函数 实现多用户通信
Select服务器实现多人通信的原理： 用户与服务器之间需要动态建立三条管道，第一条管道用于判断用户是否上线，如果用户n上线则在server.fifo中写入on以及用户id，然后建立专门用来发信息和收信息的管道，并将用户n加入用户链表。用户n通过发信息管道向服务器发信息，服务器收到信息后，将信息发送给目前在线的所有用户。用户个数即链表中结点个数。 代码如下： 1、头
2015-02-01 23:34:55
530
原创 select函数 实现三用户简单通信
Select函数可以使我们在程序中同时监听多个文件描述符的读写状态。程序会停在select这里等待，知道被监视的文件描述符中某一个或多个发生了状态改变，select（）机制中提供一fd_set的数据结构，实际上是一long类型的数组，每一个数组元素能与一打开的文件描述符建立联系（不管是socket描述符，还是其他文件或命名管道或设备描述符）。当调用select时，由内核根据IO状态修改fd_set
2015-02-01 10:29:53
424
原创 select函数作用 三用户通信
Select函数可以使我们在程序中同时监听多个文件描述符的读写状态。程序会停在select这里等待，知道被监视的文件描述符中某一个或多个发生了状态改变，select（）机制中提供一fd_set的数据结构，实际上是一long类型的数组，每一个数组元素能与一打开的文件描述符建立联系（不管是socket描述符，还是其他文件或命名管道或设备描述符）。当调用select时，由内核根据IO状态修改fd_set
2015-02-01 10:14:53
484
原创 dup chdir getcwd ls 管道
上午没有上课调到了晚上，今天心情有点阴暗，linux中目录的东西没有听懂，上课的时候抑制不住的困，下午讲了dup 、getcwd 、chdir、stat目录（没听懂），晚上讲的管道，都听懂了，并且亲自动手码了一遍，成功。现将今天学的代码贴一下：1、getcwd（） /************************************************************
2015-01-29 00:10:49
511
原创 linux系统open、 write、文件操作， ls命令实现
今天主要学习了linux的文件操作，有点心塞的感觉，本身对文件不熟悉加上vim编辑器，感觉很心烦，前两段代码已理解调试，第三段是实现linux命令中ls功能的代码，现在是凌晨零点零九分，先暂时把代码存一下，明天继续看。 1、标准c函数文件操作，一次最多处理1024个文件 /*******************************************************
2015-01-28 00:14:07
675
原创 gcc 多文件编译 vim指定行剪切
vim 剪切：1、剪切单行：dd2、剪切n行： ndd,如剪切3行：3dd；3、剪切A行到B行之间的代码，shift+：进入命令行后输入“A,Bd”如：10，20d；复制同剪切类似只需将d换位y；p粘贴；多文件编译：假设有三个文件 src、bin、include,分别存放.c,.exe,.h文件；编译时输入 gcc ./src/*.c -I ./includ
2015-01-26 21:11:13
459
原创 查找字符串中第一个只出现一次的字符
考研的时候学习过哈希函数，但这只是书本上的知识，简单的理解，从来没用过，也不知道怎么用，直到学了第一堂算法课，原来hash表可以用数组模拟，统计数字或字符出现的次数。代码如下：int CHash::getStuNum(int* data, int len, int score){if(data == NULL || len MAX_SCORE){return ERRO
2015-01-26 21:08:05
387
原创 快排 选择排序 冒泡排序 归并排序 希尔排序
//希尔排序int Sort::shellSort(int *data, int len){if(data == NULL || len return ERROR;} for(int dk = len/2; dk >= 1; dk = dk/2){// stepfor(int i = dk; i int pirot = data[i];int j = 0;f
2015-01-26 20:53:52
384
原创 二分查找（递归与非递归）查找第二大元素
//二分查找，递归bool Search::bSearch(int *data, int startId, int endId, int value){int middleId = (endId + startId)/2;if(startId == endId){if( data[startId] == value){valueId = startId;return t
2015-01-26 20:51:45
495
原创 算法第一讲
今天上的算法课，受的打击挺大的，以前以为把程序写对就好了，没有考虑到程序的效率问题，上午讲了二分查找，找数组的第二大值，下午讲的排序，包括快速排序，归并排序，堆排序，哈希表，以前没用过Hash,用过之后感觉效率很高，也终于理解哈希到底是干什么用的了。1、二分查找 2、快速排序 3、哈希 4、找数组第二大元素
2015-01-25 22:32:11
322
原创 开始写博客咯，一天一更，求监督
2015年1月11号来到王道集训营，到现在已经近半个月了，这段时间主要复习了C的主要内容，每天都在敲代码，码代码的速度提高很快，笔记都在本地存储，今天开始本机与博客同步，好好听课，多做练习，多看书，为了成为IT界的人才加油。
2015-01-25 10:47:09
345
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人