关闭

SSH传输文件相关命令

利用ssh传输文件 在linux下一般用scp这个命令来通过ssh传输文件。 1、从服务器上下载文件 scp username@servername:/path/filename /var/www/local_dir(本地目录)  例如scp root@192.168.0.101:/var/www/test.txt  把192.168.0.101上的/var/www/tes...
阅读(59) 评论(0)

JAVA IO操作

import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.FileWriter; import java.io.IOException; import java.io.PrintStream; import java.io.PrintWrite...
阅读(31) 评论(0)

JAVA String.split()方法

在java.lang包中有String.split()方法,返回是一个数组 我在应用中用到一些,给大家总结一下,仅供大家参考: 1、如果用“.”作为分隔的话,必须是如下写法,String.split("\\."),这样才能正确的分隔开,不能用String.split("."); 2、如果用“|”作为分隔的话,必须是如下写法,String.split("\\|"),这样才能正确的分隔开,不能用...
阅读(55) 评论(0)

Ubuntu下MySQL简单操作

安装 Ubuntu下安装常规软件都比较简单,直接使用apt-get即可。安装步骤如下: 输入mysql命令 系统会提示没有安装这个软件,如下图: 根据系统提示,执行下面命令进行安装。 $ sudo apt-get install mysql-client-core-5.6 $ sudo apt-get install mariadb-client-core-10.0 之后...
阅读(50) 评论(0)

局部敏感哈希 LSH 介绍

局部敏感哈希(Locality-Sensitive Hashing, LSH)方法介绍 本文主要介绍一种用于海量高维数据的近似最近邻快速查找技术——局部敏感哈希(Locality-Sensitive Hashing, LSH),内容包括了LSH的原理、LSH哈希函数集、以及LSH的一些参考资料。 一、局部敏感哈希LSH 在很多应用领域中,我们面对和需要处理的数...
阅读(72) 评论(0)

准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure

机器学习(ML),自然语言处理(NLP),信息检索(IR)等领域,评估(Evaluation)是一个必要的工作,而其评价指标往往有如下几点:准确率(Accuracy),精确率(Precision),召回率(Recall)和F1-Measure。(注:相对来说,IR 的 ground truth 很多时候是一个 Ordered List, 而不是一个 Bool 类型的 Unordered Colle...
阅读(33) 评论(0)

梯度下降小结

在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度     在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。比如函数f(x,y), 分别对x,y求偏导数,求得的梯度向量就是(∂f/∂x, ∂f/∂...
阅读(43) 评论(0)

Linux下查看电脑硬件环境的命令

系统 # uname -a                                                 # 查看内核/操作系统/CPU信息 # head -n 1 /etc/issue                               # 查看操作系统版本 # cat /proc/cpuinfo                                  ...
阅读(86) 评论(0)

如何在Windows下统计代码行数

工具有CLOC 在github上面有https://github.com/AlDanial/cloc#Quick_Start 下载地址 https://sourceforge.net/projects/cloc/files/latest/download?source=files 直接exe运行就好了...
阅读(79) 评论(0)

Hadoop DistributedCache使用方法及原理

概览 DistributedCache 是一个提供给Map/Reduce框架的工具,用来缓存文件(text, archives, jars and so on)文件的默认访问协议为(hdfs://).   DistributedCache将拷贝缓存的文件到Slave节点在任何Job在节点上执行之前。 文件在每个Job中只会被拷贝一次,缓存的归档文件会被在Slave节点中解压...
阅读(159) 评论(0)

Hadoop中的Context使用

简要截取: 本篇博客以经典的wordcount程序为例来说明context的用法: 直接上代码:package MapReduce; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; impo...
阅读(168) 评论(0)

Hadoop中mapred.child.java.opds参数意义

最近发现Hadoop Job集群的load非常高,最后发现是mapred.child.Java.opts设置过大导致的,我们当初设置为-Xmx5120导致TaskTracker上内存资源耗尽,进而开始不断swap磁盘上数据,load升高 在执行一个Task的时候,首先会根据JobConf中设定的JVM参数写入一个taskjvm.sh文件中,然后调用Linux命令 bin/bash -...
阅读(212) 评论(0)

Hadoop: hadoop.job.ugi

如果Hadoop用户标识不同于客户机上的用户账号,可以通过hadoop.job.ugi属性来显式设定Hadoop用户名和组名。 用户名和组名之间有半角逗号隔开例如: 1 preston,diecotrs,inventors 其中preston为用户名,diecotrs和inventor为组名。...
阅读(176) 评论(0)

JAVA Instanceof 用法

Java 中的instanceof 运算符是用来在运行时指出对象是否是特定类的一个实例。instanceof通过返回一个布尔值来指出,这个对象是否是这个特定类或者是它的子类的一个实例。  用法: result = object instanceof class 参数: Result:布尔类型。 Object:必选项。任意对象表达式。 Class:必选项。任意已定义的对象类。 说明: ...
阅读(56) 评论(0)

Hadoop中MapReduce中的counter的意义

MapReduce Counter为提供我们一个窗口:观察MapReduce job运行期的各种细节数据。今年三月份期间,我曾经专注于MapReduce性能调优工作,是否优化的绝大多评估都是基于这些Counter的数值表现。MapReduce自带了许多默认Counter,可能有些朋友对它们有些疑问,现在我分析下这些默认Counter的含义,方便大家观察job结果。     我的分析是基于Ha...
阅读(142) 评论(0)

Hadoop中 MapReduce中InputSplit的分析

前言 MapReduce的源码分析是基于Hadoop1.2.1基础上进行的代码分析。 什么是InputSplit        InputSplit是指分片,在MapReduce当中作业中,作为map task最小输入单位。分片是基于文件基础上出来的而来的概念,通俗的理解一个文件可以切分为多少个片段,每个片段包括了等信息。在MapTask拿到这些分片后,会知道从哪开始读取数据。 Job提交...
阅读(157) 评论(0)

JAVA类中static{}语句详解

static{}(即static块),会在类被加载的时候执行且仅会被执行一次,一般用来初始化静态变量和调用静态方法, 下面我们详细的讨论一下该语句块的特性及应用。 class Test{ public static int X=100; public final static int Y;=200 public...
阅读(64) 评论(0)

Hadoop的一些基本介绍 jps

问题导读: 1.job的本质是什么? 2.任务的本质是什么? 3.文件系统的Namespace由谁来管理,Namespace的作用是什么? 4.Namespace 镜像文件(Namespaceimage)和操作日志文件(editlog)文件的作用是什么? 5.Namenode记录着每个文件中各个块所在的数据节点的位置信息,但是他并不持久化存储这些信息,为什么? 6.客户端读写某个数据时...
阅读(109) 评论(0)

JAVA 接口 简述

什么是接口? 一个Java 接口(interface)是一些方法特征的集合,这些方法特征来自于具体方法,这些方法符合它们一般来自于一些在系统中不断出现的方法。一个接口只有方法的特征,而没有方法的实现,因此这些方法在不同的地方被实现时,可以具有完全不同的行为。在Java语言中,Java接口还可以定义public的变量。 接口把方法的特征和方法的实现分割开来。这种分割,体现在接口常常代表一个角...
阅读(55) 评论(0)

JAVA system.exit

很容易从Java.lang.System的源代码看出来 /** * Terminates the currently running Java Virtual Machine. The * argument serves as a status code; by convention, a nonzero status * code indicates abnorm...
阅读(110) 评论(0)
74条 共4页1 2 3 4 下一页 尾页
    个人资料
    • 访问:12458次
    • 积分:737
    • 等级:
    • 排名:千里之外
    • 原创:55篇
    • 转载:12篇
    • 译文:0篇
    • 评论:0条