- 博客(34)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 linux 查看文件夹下的文件个数(当前目录的文件数
ls -l |grep "^-"|wc -l或find ./company -type f | wc -l查看某文件夹下文件的个数，包括子文件夹里的。ls -lR|grep "^-"|wc -l查看某文件夹下文件夹的个数，包括子文件夹里的。ls -lR|grep "^d"|wc -l说明：ls -l长列表输出该目录下文件信息(注意这里的文件，不同于一般的文件，可
2016-09-21 09:40:53
802
转载 用spark训练深度神经网络
SparkNet: Training Deep Network in Spark这篇论文是 Berkeley 大学 Michael I. Jordan 组的 ICLR2016(under review) 的最新论文，有兴趣可以看看原文和源码：paper，github .训练深度神经网络是一个非常耗时的过程，比如用卷积神经网络去训练一个目标识别任务需要好几天来训练。因
2016-04-10 11:08:56
4674
1
转载 scala 调用 c++
与java调用c/c++差不多。1.在scala文件中对将要调用的方法做本地声明，关键字为native。且只需要声明，而不需要具体实现。[plain] view plain copyprint?class MutiMatrix { //xM @native def vectorMutiMatrix(lx: Array[Doub
2016-04-06 15:09:35
2421
转载 CMake的使用方法
CMake 使用方法CMake的所有的语句都写在一个叫:CMakeLists.txt 的文件中。当CMakeLists.txt文件确定后,可以用ccmake命令对相关 的变量值进行配置。这个命令必须指向CMakeLists.txt所在的目录。配置完成之后,应用cmake命令生成相应的makefile（在Unix like系统下）或者 project文件（指定用window下的相应编程工具编译时
2016-04-04 14:48:41
359
转载 IDEA快捷键
编辑类：Ctrl+Space基本代码实例（类、方法、变量）Ctrl + Shift + Space智能代码实例（根据需要的类型过滤方法和变量）Ctrl + Shift + Enter完整的声明(如有代码提示，自动获取第一个并在句尾加上分号结束。无提示，在此行下新增一行)
2016-03-28 10:55:37
459
转载 清除Swap空间
一、SWAP开关：1、关闭SWAP一般用于大物理内存的服务器swapoff -a在SSH中执行以上命令，则可以关闭SWAP分区。 2、开启SWAPswapon -a在SSH中执行以上命令，则可以开启SWAP分区。二、刷新SWAP当SWAP占用率高达30%，对系统性能可能会有一定影响，所以在适当情况下，我们可
2016-03-11 10:01:01
1139
转载 linux中java调用shell脚本
全部代码------------------------------------------------------------------------------------------------------------------------------import java.io.IOException;import java.io.InputStreamReader;im
2016-02-25 15:43:12
296
转载 ubuntu下配置tomcat服务器
1、先从Apache的官方网站下载下来tomcat6.0系列的文件，http://www.apache.org/tomcat/在这里找到Tomcat6.0的linux安装文件，它跟windows是不一样的，在官网上有相应的说明，linux版的tomcat是需要编译源代码的文件，如下载下来的文件为：apache-tomcat-6.0.30.zip2、将下载的文件通过ftp传输到linux中，这里
2016-02-22 15:24:20
409
转载 Ubuntu登陆windows搭建的FTP服务器文件名乱码解决方法
ubuntu默认字符集---->utf8windows默认字符集gbk方法一:sudo gedit /var/lib/locales/supported.d/local添加一行 zh_CN.GBK GBKsudo locale-gen 生成 locale方法二:修改用户目录下.profile文件，增加 LANGUAGE="zh_CN:zh:en_US:
2016-02-22 12:31:24
1846
转载 spark源码阅读3-Task运行期之函数调用关系分析
概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备spark已经安装完毕spark运行在local mode或local-cluster modelocal-cluster modelocal-cluster模式也称为伪分布式，可以使用如下指令运行MA
2016-01-05 10:28:42
330
转载 spark源码阅读2-Job的提交与运行
概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala安装sbt安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以下命令即可，假设当前目录是$SPARK_H
2016-01-05 09:58:05
375
转载 spark源码阅读1
楔子源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性的认识，阅读Matei Zaharia做的Spark论文是一个非常不错的选择。在阅读该论文的基础之上，再结合Spark作者在2012 Dev
2016-01-05 09:16:17
434
原创 centos
/var/run/yum.pid 已被锁定，PID为xxxx的另一个程序正在运行。解决方法：rm -f /var/run/yum.pid
2016-01-03 15:30:54
245
转载 spark Shuffle
Background在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现，自然也实现了shuffle的逻辑，本文就深入研究Spark的shuffle是如何实现的，有什么优缺点，与Hadoop MapR
2015-12-28 13:38:10
252
原创 学习笔记（９）——shellscript
注意事项：（１）命令的执行是从上至下，从左到右地进行分析与执行的。（２）命令的执行过程中，命令、参数间的多个空白都会被忽略掉。（３）空白行同样被忽略掉，并且【tab】键所得的空白同样被市委空格键。（４）如果读取到一个回车符号（Enter、CR），就尝试开始执行改行或该串命令。（５）如果一行的内容太多了，可以使用“\【Enter】”来扩展至下一行。（６）＃号可作为批注。任何加
2015-12-26 10:01:16
394
转载 redhat ftp服务器设置
实验要求：RHEL6.4 下搭建一个ftp服务器禁止匿名用户登录，允许本地账户登录禁锢普通账户在自己的宿主目录中设置普通账户登录访问/data/ftp限制普通账户下载速度150KB/s----------------------------------------------分割线-----------------------------------
2015-12-21 10:17:28
508
转载 redhat 安装yum
刚装好了 RedHat 6 系统，但是使用 yum 的时候总是提示 nothing to do，并且什么都做不了。后来经过一番搜索才知道，红帽的 yum 在线更新是收费的，而且必须注册系统之后才能使用。之前使用 Ubuntu 的时候由于国外的 apt-get 源过慢是可以更新国内的源的，LZ经常用的就是网易的源或者是某些高校的源。于是乎LZ便想到了更换 yum 的源来解
2015-12-17 16:18:56
325
原创 学习笔记（7）——bash shell 相关命令
这篇文章记录bash shell的相关命令关于变量：变量设置规则：1. 变量与变量内容用一个等号连接，“变量名=变量内容”2. 等号两边不能直接接空格3. 变量名称只能是英文字母与数字，但开头不能是数字4. 变量内容若有空格符可用双引号或单引号将变量内容结合起来（单引号内的特殊字符仅作为一般字符（纯文本）；双引号内的特殊字符，如$等，可以保持原有特性）5. 可用
2015-12-14 15:15:30
453
原创 学习笔记（4）——数组和广义表
此处介绍的数组不是C、C++等语言中定义的数组，注意区别。n维数组，每维含有mi个数据（i=1,2,...,n），则n维数组含有sum（mi）个数据。其中，n称为数组的维数，mi称为维界。数组一旦被定义，维度与维界都不能被改变。当n=1时，数组退化为定长线性表。注意：每维数据的个数可以不同。数组中的数据元素类型必须一致。数组一般不进行插入、删除操作，一旦建立了数组，结构中的数据元素的个数以
2015-12-10 10:51:17
780
原创 学习笔记（6）——vi和vim
使用vi或者vim进行文本编译应该是每个Linux使用者都应该掌握的技能之一。由于习惯使用图形化的文本编译器，所以刚开始接触时感觉还是挺难的，好多命令要记。vi一共分为三种模式：一般模式，编辑模式，命令行模式。（1）一般模式：使用vi打开一个文档后默认进入一般模式，在一般模式下可以移动光标，可以删除字符或删除整行字符，也可以复制粘贴文件数据。（2）编辑模式：按“i、a、o、r（I、A、
2015-12-07 13:26:46
415
原创 学习笔记（3）——串
计算机上非数值处理的对象基本为字符串数据，一般简称为串。串是由零个或多个字符组成的有限序列，串中字符的数量称为串的长度，零个字符的串为“空串”。串中任意个连续的字符组成的子序列称为“子串”。包含子串的串相应地称为“主串”。字符在序列中的序号称为该字符在串中的“位置”。子串在主串中的位置以子串的第一个字符在主串中的位置来表示。当且仅当两个串的长度以及对应位置的字符都相等时，称两个串相等。串的最小
2015-12-06 18:58:34
503
原创 学习笔记（5）——文件压缩
Linux中压缩文件的拓展名大多为：.tar .tar.gz .tgz .gz .Z .bz2。这些拓展名并没有实际作用，只是用来帮助使用者了解这些压缩文件采用了什么压缩技术，以便使用不同的命令进行解压缩。现在常见的包括：gz（gzip程序压缩的文件），bz2（bzip2程序压缩的文件），tar（tar打包的文件，没有被压缩过），tar.gz（tar打包的文件，文件被gzip程
2015-12-06 10:24:52
347
原创 学习笔记（4）——磁盘与文件系统
文件系统：可以理解为在存储设备上组织文件的方法。文件系统通常会包含三个部分的数据：super block，inode和block。（1）super block：记录文件系统的整体信息，包括inode和block的总量，使用量以及剩余量等等。（2）inode：记录文件的属性，一个文件占用一个inode，同时记录此文件的数据所在的block号。（3）block：文件的实际内容（数据），
2015-12-05 18:06:22
319
原创 学习笔记（2）——栈和队列
栈和队列都是线性结构，是特殊的线性表。栈：仅在表尾进行插入或删除元素的操作。表尾称为栈顶，表头称为栈底。不含元素的空表为空栈。又称为”先进后出“线性表。栈有两种存储结构：顺序存储和链式存储（与线性表类似）设置top指针指向栈顶位置，base指针指向栈底位置，当top = base 时，栈为空栈。使用C语言时，不应限定栈的最大容量：先分配一个基本容量，当空间不够使用时，使用reall
2015-11-30 14:39:50
390
原创 学习笔记（1）——基本概念&线性表
基本概念数据元素：数据的基本单位，计算机程序中通常作为一个整体考虑。数据项：一个数据元素可以由若干个数据项组成，数据项是数据的不可分割的最小单位。数据对象：性质相同的数据元素的集合，是数据的一个子集，如整数（Int）。数据结构：一种或多种特定关系的数据元素的集合：（1）集合：集合内数据元素无关（2）线性结构：1:1（3）树形结构：1:N（4）图状结构（网状结构）：N
2015-11-29 12:33:41
529
原创 学习笔记（2）——文件种类
用ls -al命令查询时，第一列内容为文件种类+权限，第一个字符表示种类。”d“表示目录”-“表示一般数据文件”b“表示存储设备的接口设备（硬盘、软盘等）”c“表示串行端口的接口设备（鼠标、键盘等）”l“表示链接文件，类似于快捷方式”s“表示sockets文件，数据接口文件”p“表示”管道“，FIFO，解决多个程序同时访问一个文件造成的错误上一篇文章中提到”x“
2015-11-29 11:04:18
283
原创 学习笔记（1）——用户/用户组权限
开始学习Linux，做些笔记。（一）关于用户和用户组及其权限的问题用户（User）：文件所有者，可以属于不同的用户组，拥有私人空间。但是root用户具有最高权限，可以对一切文件进行读写执行（rwx）。可以通过”su - 用户名“来切换登陆账号。用户组（Group）：包含多个用户，组中用户可以共享一些文件。其他人（Others）：不在Group中的其他用户。权限问题：
2015-11-29 10:13:39
513
转载 maven
1、打开maven配置文件(maven安装目录下的conf目录下的settings.xml文件)2、搜索mirrors关键字，如果注释说明的下方没有 节点，则建立mirrors节点，带mirrors节点的所有配置如下(复制下面的内容，粘贴到配置文件中即可)： | Specifies a repository mirror site to use in
2015-08-25 14:23:27
283
原创 hadoop+spark集群搭建
1. 安装JDK（1）下载Java7，本文使用jdk-7u67-linux-x64.tar.gz（若配置最新版本可使用java8）（2）在/opt下新建文件夹jdk，将上述压缩文件解压到该文件夹下可使用命令：tar vxf jdk-7u67-linux-x64.tar.gz（3）配置环境变量sudo gedit /etc/profile在末尾添加：#java
2015-08-25 10:47:36
278
原创 Ubuntu14.04下基于MPICH2框架的集群搭建
1.所有计算机安装Ubuntu14.04系统，单双系统无所谓。2.计算机的命名要有所区别。3.每台计算机的用户名要相同，这点十分重要，否则配置ssh的时候会出现问题。4.为每台计算机配置静态ip： sudo gedit/etc/network/interfaces在文件中加入下列信息address 172.16.71.147#（IP地址）netmask
2015-08-25 10:45:06
427
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人