- 博客(64)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Spark入门(Python版）
转自：Spark入门(Python版），保存在此以学习。Hadoop是对大数据集进行分布式计算的标准工具，这也是为什么当你穿过机场时能看到”大数据(Big Data)”广告的原因。它已经成为大数据的操作系统，提供了包括工具和技巧在内的丰富生态系统，允许使用相对便宜的商业硬件集群进行超级计算机级别的计算。2003和2004年，两个来自Google的观点使Hadoop成为可能：一个分布式存储框架(
2016-07-29 22:02:03
1500
转载 Python中的 list comprehension 以及 generator
转自：Python中的 list comprehension 以及 generator，保存在此以学习。三年前，我在一篇博客里不无自豪的记录了python编写的小函数，当时感觉python真强大，11行代码就写出了一个配置文件的解析器。def loadUserInfo(fileName):userinfo = {}file = open(fileName, "r")while
2016-07-29 21:58:11
1730
原创 Windows内存管理的几种方式和优缺点
Windows内存管理方式主要分为：页式管理、段式管理和段页式管理。页式管理的基本原理是将各进程的虚拟空间划分为若干个长度相等的页。把内存空间按页的大小划分为片或者页面，然后把页式虚拟地址与内存地址建立一一对应的页表，并用相应的硬件地址转换机构来解决离散地址变换问题。页式管理采用请求调页和预调页技术来实现内外存存储器的统一管理。优点：没有外碎片，每个内碎片不超过页的大小。缺点：程序全部
2016-07-27 11:34:03
6160
转载 进程间通信（IPC (Inter-process communication)）
转自：进程间的通讯(IPC)方式，保存在此以学习。为什么要进行进程间的通讯(IPC (Inter-process communication))数据传输：一个进程需要将它的数据发送给另一个进程，发送的数据量在一个字节到几M字节之间共享数据：多个进程想要操作共享数据，一个进程对共享数据的修改，别的进程应该立刻看到。通知事件：一个进程需要向另一个或一组进程发送消息，通知它（它们
2016-07-27 02:49:38
2927
原创 进程和线程的差别
进程是程序的一次执行。线程可以理解为进程中执行的一段程序片段。进程间是相互独立的，这表现在内存空间、上下文环境上。线程运行在进程空间中。一般来讲，进程无法突破进程边界存取其他进程内的存储空间。而线程处于进程空间内，同一进程所产生的线程共享同一内存空间。同一进程中的两段代码不能同时执行，除非引入线程。线程是属于进程的，当进程退出时，该进程所产生的线程都会被强制退出并清除。
2016-07-27 02:48:04
419
转载 信号量与PV操作
转自：信号量与PV操作，保存在此以学习。在计算机操作系统中，PV操作是进程管理中的难点。首先应弄清PV操作的含义：PV操作由P操作原语和V操作原语组成（原语是不可中断的过程），对信号量进行操作，具体定义如下： P（S）：①将信号量S的值减1，即S=S-1； ②如果S³0，则该进程继续执行；否则该进程置为等待状态，排入等待队列。 V（S）：①将信号
2016-07-27 02:12:39
2991
原创 进程间通信如何实现
常用的进程间通信方式有信号、信号量、消息队列、共享内存。所谓进程通信，就是不同进程之间进行一些“接触”。这种接触有简单也有复杂。机制不同复杂度也不同。通信是一个广义的定义，不仅仅指传递一些message。它们使用的方法基本是相同的，所以只要掌握了一种使用方法，然后记住其他的即可。信号和信号量是不同的，它们虽然都可以用来同步和互斥，但是信号是使用信号处理器来进行的，信号量是使用P、V
2016-07-27 02:10:41
1800
原创 简述操作系统中的作业、进程、线程、管程
作业：用户在一次解题或者一个事务处理过程中要求计算机系统所做工作的集合，它包括用户程序、所需数据及控制命令等，作业是由一系列有序的步骤组成的。进程：一个程序在一个数据集合上的一次运行过程。所以一个程序在不同数据集合上运行，乃至一个程序在相同数据集合上的多次运行都是不同的进程。线程：线程是进城中的一个实体，是被系统独立调度和执行的基本单位。管程：管程实际上是定义了一个数据结构和在该数据结
2016-07-27 01:55:53
1365
原创 ICMP协议
ICMP协议是“Internet Control Message Protocol”（Internet控制消息协议）的缩写。它是TCP/IP协议族的一个子协议，用于在IP主机、路由器之间传递控制消息。控制消息是指网络通不通、主机是否可达、路由是否可用等网络本身的消息。这些控制消息虽然并不传输用户数据，但是对于用户数据的传递起着重要作用。在网络中经常会使用到ICMP协议，只不过察觉不到而已。
2016-07-27 01:44:14
644
原创 ping命令原理及其所属的协议
ping.exe的原理是，向指定的IP地址发送一定长度的数据包，按照约定，若指定IP地址存在的话，会返回同样大小的数据包，当然，若在特定的时间内没有返回，就是“超时”，就认为指定的IP不存在。由于ping使用的是ICMP协议，有些防火墙会屏蔽ICMP协议，所以有时候ping的结果只能作为参考，ping不通并不一定说明对方IP不存在。ping命令是一个非常有用的命令，大家常用它来测试网络连通
2016-07-27 01:29:46
8148
原创 TCP的三次握手和四次挥手
TCP协议提供可靠的数据传输连接，三次握手用于建立连接，四次挥手用于断开连接。三次握手：第一次、建立连接时，客户端向服务器发送SYN包（syn=j），即握手信号，进入SYN_SEND状态，等待服务器的响应。第二次、服务器收到SYN包，确认客户端的SYN（ack=j+1），同时向客户端发送一个SYN包（syn=k），即发送SYN+ACK包，此时服务器进入SYN_RECV状态。第三次、
2016-07-26 17:13:22
497
转载 什么是2MSL
转自：什么是2MSL，保存在此以学习。MSL是Maximum Segment Lifetime英文的缩写，中文可以译为“报文最大生存时间”，他是任何报文在网络上存在的最长时间，超过这个时间报文将被丢弃。因为tcp报文（segment）是ip数据报（datagram）的数据部分，具体称谓请参见《数据在网络各层中的称呼》一文，而ip头中有一个TTL域，TTL是time to live的缩写，中文可
2016-07-26 17:10:01
1045
转载 TCP连接断开过程-四次握手
转自：TCP连接断开过程-四次握手，保存在此以学习。断开连接其实从我的角度看不区分客户端和服务器端，任何一方都可以调用close(or closesocket)之类的函数开始主动终止一个连接。这里先暂时说正常情况。当调用close函数断开一个连接时，主动断开的一方发送FIN(finish报文给对方。有了之前的经验，我想你应该明白我说的FIN报文时什么东西。也就是一个设置了FIN标志位的报文
2016-07-26 16:50:57
3817
原创 如何将一个网络分为两个子网、如何通过已知IP和子网掩码计算其同一网段的主机IP
IPV4的IP地址格式通常表示为xxx.xxx.xxx.xxx，其中xxx为十进制数，取值范围是[0，255]，若用16进制表示则为xx.xx.xx.xx，其中xx的取值范围是[0,FF]。实际上，IP地址使用二进制位表示最能说明其本质，它共占4x8=32个二进制位，前n个二进制为表示网络ID，即，网络号，后32-n个二进制位表示每个子网段的主机IP地址，其中n是根据各个子网内主机的数量的最大
2016-07-26 15:54:17
12742
2
原创 如何编写Socket套接字
Socket套接字相当于网络通信两端的插座，只要对方的Socket和自己的Socket有通信联接，双方就可以发送和接收数据。其定义类似于文件句柄的定义。如果编写的是服务程序，那么先调用socket()创建一个套接字，调用bind()绑定IP地址和端口，然后启动一个死循环，循环中调用accept()接受连接。对于每个接受的连接，可以启动多线程方式进行处理，在线程中调用send()、recv()发
2016-07-25 21:40:25
3101
原创 简述TCP和UDP协议并举例说明它们的区别
TCP是传输控制协议，提供的是面向连接的、可靠的字节流服务。当客户和服务器彼此交换数据前，必须先在双方之间建立一个TCP连接，之后才能传输数据。TCP提供超时重发、丢弃重复数据、校验数据、流量控制等功能，保证数据能从一端传递到另一端。例，TCP连接就像是打电话，两者之间必须有一条不间断的通路，数据不到达对方，对方就一直在等待，除非对方直接挂断电话。先说的话先到，后说的后到，有顺序。UDP是
2016-07-25 16:49:38
6716
3
原创 SQL清除表格内容
清除表格内容有两种方式：1、drop table 表格名，将整个目标表格完全删除，无法再使用。2、truncate table 表格名，将表格内容删除，但目标表格形式依然存在，还可以再对其进行操作。
2016-07-25 15:41:47
2093
转载 SQL 中的 TRIM 函数
SQL 中的 TRIM 函数是用来移除掉一个字串中的字头或字尾。最常见的用途是移除字首或字尾的空白。这个函数在不同的资料库中有不同的名称：MySQL: TRIM( ), RTRIM( ), LTRIM( )Oracle: RTRIM( ), LTRIM( )SQL Server: RTRIM( ), LTRIM( )各种 trim 函数的语法如下：TRIM ( [ [位置] [要移
2016-07-24 16:53:05
15740
转载 SQL Order By
学习SQL我们经常需要能够将抓出的资料做一个有系统的显示。这可能是由小往大 (ascending) 或是由大往小 (descending)。在这种情况下，我们就可以运用 ORDER BY这个指令来达到我们的目的。ORDER BY 的语法如下:SELECT "栏位名" FROM "表格名" [WHERE "条件"]ORDER BY "栏位名" [ASC, DESC
2016-07-24 16:45:34
589
转载 oracle查询排序asc/desc 多列 order by
转自：oracle查询排序asc/desc 多列 order by查询结果的排序 显示EMP表中不同的部门编号。 如果要在查询的同时排序显示结果，可以使用如下的语句： Sql代码SELECT 字段列表 FROM 表名 WHERE 条件 ORDER BY 字段名1 [ASC|DESC][,字段名2 [ASC|DESC
2016-07-24 16:42:38
8602
转载 以太网最大帧和最小帧、MTU
文章出处：http://ewangsoft.blog.163.com/blog/static/7721558220093200840864/根据rfc894的说明，以太网封装IP数据包的最大长度是1500字节，也就是说以太网最大帧长应该是以太网首部加上1500，再加上7字节的前导同步码和1字节的帧开始定界符，具体就是：7字节前导同步码 + 1字节帧开始定界符 + 6字节的目的MAC + 6
2016-07-23 14:32:38
4485
原创 10Mbps以太网的帧长度
1.以太网帧的最短长度为64字节，或者帧中的数据不得少于46个字节,其中以太网帧头有18字节(以太网2的值为:MAC+2类型+4CRC,注意,如果是802.3的规范,它支持SNAP和802.3以太,其中的2个字节的类型字段就变为帧的长度),小于以上长度的帧或数据需要在帧中加入“填充数据(pad)” 。 2.以太网帧的最长长度为1518字节。我们所说的MTU 以太网一般为1500，加上以太网帧
2016-07-23 14:28:42
5596
转载 Python 关于正负无穷float(‘inf’)的一些用法
Python中可以用如下方式表示正负无穷：float("inf"), float("-inf")利用 inf 做简单加、乘算术运算仍会得到 inf>>> 1 + float('inf')inf>>> 2 * float('inf')inf 但是利用 inf 乘以0会得到 not-a-number(NaN)：>>> 0 * float("
2016-07-22 19:34:11
55633
原创 知识点：Java变量和数组的默认值
类的成员变量是基本数据类型，即使没有初始化，Java也会确保它获得一个默认值；但是基本类型的局部变量不会自动初始化，且java编译器会报错-变量没初始化。在默认情况下 ，整型数组中系统会为每一个元素赋值为0。Java不会自动把int转换成bool值所以样whille(1),if(1)都会报编译错误String[] s = new String
2016-07-20 00:26:58
757
原创 Java从文件中跳过n个字节读取数据
File file = new File("tcp.txt"); FileInputStream stream = new java.io.FileInputStream(file); int pos = 10;//从第几个字节开始读 int len = 15;//读几个字节 stream.skip(pos); //跳过之前的字节
2016-07-19 23:31:29
6020
原创 Java关键字
synchronized 关键字 : 用来给对象和方法或者代码块加锁，当它锁定一个方法或者一个代码块的时候，同一时刻最多只有一个线程执行这个段代码。volatile：用来确保将变量的跟新操作通知到其他线程，当把变量声明为volatile类型后，编译器与运行时都会注意到这个变量是共享的，因此不会将该变量上的操作与其他内存操作一起重排序。然而，在访问volatile变量时不会执行加锁操作，因此
2016-07-19 20:51:50
364
转载 一个例子了解Java反射机制
转自：一个例子让你了解Java反射机制Java反射机制：通俗地说，反射机制就是可以把一个类、类的成员(函数、属性)，当成一个对象来操作，希望读者能理解，也就是说，类、类的成员，我们在运行的时候还可以动态地去操作他们.理论的东东太多也没用，下面我们看看实践 Demo ～package demo.reflect;import java.lang.reflect.*;public
2016-07-19 20:31:15
535
原创 知识点：面向对象与面向过程
面向对象是软件开发中主流方法之一，它是把数据及对数据的操作方法放到一起，作为一个相互依存的整体，即对象。对同类对象抽象出其共性，即类，类中的大多数数据，只能被本类的方法进行处理。类通过一个简单的外部接口与外界发生关系，对象与对象之间通过消息进行通信。程序流程由用户在使用中决定。面向过程是一种以事件为中心的开发方法，就是自顶向下顺序执行，逐步求精，其程序结构是按照功能划分为若干个基本模块，这
2016-07-19 20:28:03
879
原创 Java的反射机制简述
反射机制是Java语言中一个非常重要的特性，它允许程序在运行时进行自我检查，同时也允许内部的成员进行操作。虽然这个特性在实际开发中使用的不多，但是像Pascal、C和C++等语言根本没有提供这样的特性。由于反射机制能够实现在运行时对类进行装载，因此能够增加程序的灵活性，但是不恰当地使用反射机制也会严重影响系统的性能。具体而言，反射机制提供的功能主要有：1、得到一个对象所属的类；2、获取
2016-07-19 18:56:01
2146
转载 Java反射机制Class类的用法详解
转自：Java反射机制Class类的用法详解，保存在此以学习。java的Class类是java反射机制的基础,通过Class类我们可以获得关于一个类的相关信息,下面我们来了解一下有关java中Class类的相关知识!java.lang.Class是一个比较特殊的类，它用于封装被装入到JVM中的类（包括类和接口）的信息。当一个类或接口被装入的JVM时便会产生一个与之关联的ja
2016-07-19 18:47:32
1773
转载 深入理解类的加载机制及反射
转自深入理解Java：类的加载机制与反射，保存在此以学习。一、Java类加载机制1．概述 Class文件由类装载器装载后，在JVM中将形成一份描述Class结构的元信息对象，通过该元信息对象可以获知Class的结构信息：如构造函数，属性和方法等，Java允许用户借由这个Class相关的元信息对象间接调用Class对象的功能。 虚拟机把描述类
2016-07-19 18:42:05
2015
转载 从大样本中均匀提取子集的算法
转自：从大样本中均匀提取子集的算法，保存在此以学习。在一些计算中,我们可能会遇到这样的问题: 我们可能会拿到一个数据量很大的样本,但是算法的时间对数据量很敏感而精度不太敏感,过多的数据会严重降低算法的效率,此时我们可以从这个大样本中取出一部分数据,代入算法进行运算.比如在计算机视觉中,如果摄像机只做旋转运动和变焦,要从两幅视图中的特征点以及它们之间的单应矩阵H,非线性优化摄像机的
2016-07-19 16:22:15
2205
转载 大数量级组合数的快速计算方法
转自：大数量级组合数的快速计算方法，保存在此以学习。计算组合数最大的困难在于数据的溢出，对于大于150的整数n求阶乘很容易超出double类型的范围，那么当C(n,m)中的n=200时，直接用组合公式计算基本就无望了。另外一个难点就是效率。 对于第一个数据溢出的问题，可以这样解决。因为组合数公式为： C(n,m) = n!/(m!(n-m)!)为了避免直
2016-07-19 16:19:06
11447
1
转载 支持向量机（SVM）的详细推导过程及注解（一）
转自：支持向量机（SVM）的详细推导过程及注解（一），保存在此以学习。支持向量机的原理很简单，就是VC维理论和最小化结构风险。在阅读相关论文的时候，发现很多文章都语焉不详，就连《A Tutorial on Support Vector Machines for Pattern Recognition》这篇文章对拉格朗日条件极值问题的对偶变换都只是一笔带过，让很多人觉得很困惑。下面我将就
2016-07-19 16:12:30
3104
原创 问题记录：hadoop集群提交job时出现Exception in thread "main" java.io.IOException: Error opening job jar:
在向hadoop集群提交job时提示以下错误：ubuntu@ip-172-31-9-9:~/hadoopfile/feature$ hadoop jar /home/ubuntu/hadoopfile/feature/feature-getpoint7.jar /feature/in feature/out1Exception in thread "main" java.io.IOExcep
2016-07-18 19:14:23
4091
1
转载 hadoop常见问题及其解决办法
转自Hadoop使用常见问题以及解决方法（转载），保存在此以学习。1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序 里面需要打开多个文件 ，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文
2016-07-18 15:51:16
5838
原创 问题记录：hadoop+zookeeper高可用性集群启动时出现namenode均为standby状态
去年在Amazon上手动搭建了八个结点的小集群做测试，两个namenode，一个yarn，五个datanode，距离上次使用大概有两个月的时间，之前用的时候都没问题，今天启动后正常查看hdfs上的文件时报错如下：ubuntu@ip-172-31-9-9:~$ hadoop fs -ls /16/07/18 06:52:48 INFO retry.RetryInvocationHandler:
2016-07-18 15:26:16
8669
转载 Java之Scanner（二）
转自：JAVA Scanner的用法，保存在此以学习。先来看一个简单的例子:import java.util.*;public class ScannerTest { public static void main(String[] args){ Scanner scanner=new Scanner(System.in); doub
2016-07-17 10:35:53
1533
转载 Java之Scanner（一）
java.util.Scanner是Java5的特征，主要功能是简化文本扫描。这个类最实用的地方表现在获取控制台输入，其他的功能都很鸡肋，尽管Java API文档中列举了大量的API方法，但是都不怎么地。一、扫描控制台输入这个例子是常常会用到，但是如果没有Scanner，你写写就知道多难受了。当通过new Scanner(System.in)创建一个Scanner，控制台会一直等待输入
2016-07-17 10:25:23
666
转载 深刻理解Java编程的7个例子
转自：深刻理解Java编程的7个例子，保存在此以学习。深刻理解Java编程的7个例子 佟强 2009年11月7日 http://blog.csdn.net/microtong 1. 阅读下列代码回答问题（第一个Java程序，理解PATH和CLASSPATH，学会使用javac和java命令）package cn.edu.uibe; public class HelloW
2016-07-16 02:58:16
557
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人