大数据——初识Hadoop Hadoop主要包含如下核心组件:1. HDFS。它是hadoop使用的分布式文件系统,提供了hadoop运算过程中的数据存储、数据备份、数据错误校验等功能。 2. MapReduce。 它是hadoop的并行计算框架。基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错的方式并行处理上TB级别的数据集。3. HBSE。HBse是建立在Hadoop HDFS之上的可靠的
数学建模,我也总算是参加过的人了 大学四年都没有参加过数学建模比赛,对于我这种天不怕地不怕,扛起火枪就死命往前冲的人来说,没有去感受一下那种被虐的体无完肤的感觉,实在是一种遗憾。终于在研究生期间,让我逮着了机会。前段时间一个数学院的女生向我请教C++问题,然后我顶着机院的光环,强行装了一把逼,瞬间树立了大神形象。这不,数学建模开始了,她和一个物理院的同学(后来发现是大神)就邀请我参加。那还有啥说的,对于我这种不要Face的人,那肯定
LeetCode-TwoSum 题目:给一串数字和一个目标数字,在数字串中寻找两个数加起来等于目标数字的数,返回其下标。方法(12ms):vector twoSum(vector& nums, int target) { vector oldvector=nums; //保存一份原始vector int low,high,mid; int num1=0,num2=0; int index1=0,index
python itchat实现微信自动回复 今天在实验楼发现一个特别好玩的,python 微信库itchat,可以实现自动回复等多种功能,好玩到根本停不下来啊,尤其是调戏调戏不懂计算机的,特别有成就感,哈哈!!
UDP-Connect 我们都知道TCP 是面向连接的,因此再传输数据之前必须要建立连接,也就是客户端调用connect(),服务端accept(),完成三次握手,建立连接。 我们也知道UDP是面向无连接的,它传输数据之前是不需要建立连接的,那么对于UDP通信编程,我们是否需要调用connect了?如果可以,什么时候调用了?调用了有什么好处了?一、发送接收函数首先回顾下,传输数据的两组函数1、tcp
QPushButton设置背景图片变换(素材四连图) 在QT中,QPushButton是我们经常用的控件,但是系统默认控件的样式不好看,因此我们一般都会给QPushButton设置背景图片,并且一般想达到的效果是,当鼠标放上去时是一张图片,当鼠标点击时是一张图片,当鼠标离开时,又是另外一张图片,怎么实现这个效果了。1、setStyleSheetsetStyleSheet("QPushButton{background-image: u
稀疏矩阵存储格式总结 稀疏矩阵是指矩阵中的元素大部分是0的矩阵,事实上,实际问题中大规模矩阵基本上都是稀疏矩阵,很多稀疏度在90%甚至99%以上。因此我们需要有高效的稀疏矩阵存储格式。本文总结几种典型的格式:COO,CSR,DIA,ELL,HYB。
浅析张量分解(Tensor Decomposition) 一般一维数组,我们称之为向量(vector),二维数组,我们称之为矩阵(matrix);三维数组以及多位数组,我们称之为张量(tensor)。 在介绍张量分解前,我们先看看矩阵分解相关知识概念。一、基本概念矩阵补全(Matrix Completion)目的是为了估计矩阵中缺失的部分(不可观察的部分),可以看做是用矩阵X近似矩阵M,然后用X中的元素作为矩阵M中不可观察部分的元素的估计。矩
Java多线程 一、java多线程实现方式Java多线程实现方式主要有四种:继承Thread类、实现Runnable接口、实现Callable接口通过FutureTask包装器来创建Thread线程、使用ExecutorService、Callable、Future实现有返回结果的多线程。1、继承Thread类创建线程Thread类本质上是实现了Runnable接口的一个实例,代表一个线程的实例。启动线程的唯一方法
地图匹配小结 如果您是要做交通轨迹方面的研究,那么地图匹配你一定会遇到,因为要进行后续研究,在数据预处理阶段,必须要做的工作之一就是地图匹配,现在地图匹配算法已经很成熟了,并且已存在开源的代码可用了,那么本文主要就是把从数据,到算法到程序这整个环节走通,做一个总结。开源地图-OpenStreetMapOpenStreetMap(OSM)是一款由网络大众共同打造的免费开源、可编辑的地图服务。它是利用公众集体的力量和
服务器远程安装Matlab2015 因为在windows上跑matlab实验,出现内存不足的情况,因此,希望能在服务器上安装一个matlab。然后出现各种问题,花了一天时间才装好,特此记录下。因为对于没装过的童靴来说,每一个步骤都很关键,因此,尽量把每个步骤写的细一点。Matlab镜像文件matlab 安装镜像文件我是从这儿下载的,再次对上传者表示感谢,地址:镜像文件,提取码为:4gj3。原博客在参考资料【3】安装步骤1、上传镜像文件
常用的相似度计算方法原理及实现 在数据分析和数据挖掘以及搜索引擎中,我们经常需要知道个体间差异的大小,进而评价个体的相似性和类别。常见的比如数据分析中比如相关分析,数据挖掘中的分类聚类(K-Means等)算法,搜索引擎进行物品推荐时。相似度就是比较两个事物的相似性。一般通过计算事物的特征之间的距离,如果距离小,那么相似度大;如果距离大,那么相似度小。比如两种水果,将从颜色,大小,维生素含量等特征进行比较相似性。问题定义:
C/C++可变参数函数 一、C可变参数函数一般我们编程的时候,函数中形式参数的数目通常是确定的,在调用时要依次给出与形式参数对应的实际参数。但在某些情况下我们希望函数的参数个数可以根据需要确定,因此c语言引入可变参数函数。典型的可变参数函数的例子有printf()、scanf()等.先看代码:printf(“hello,world!”);其参数个数为1个。printf(“a=%d,b=%s,c=%c”,a,b,c);其参
《UNIX网络编程》笔记——套接字选项 一、操纵套接字选项的方法1、getsockopt和setsockopt函数这两个函数仅用于套接字#include <sys/socket.h> int getsockopt(int sock, int level, int optname, void *optval, socklen_t *optlen); int setsockopt(int sock, int level, int o
TCP-流量控制 所谓的“流量控制”,就是让发送方的发送速率不要太快,要让接受方来的及接收。这是一种对于端的控制,不像拥塞控制,是对网络状况的控制。那么,TCP是怎么实现流量控制的了?这个可以从成块数据(大分组)、交互数据流(小分组)两种数据流情况来详细讨论。一、成块数据对于成块数据,一般采用滑动窗口实现流量控制。滑动窗口滑动窗口,也就是接收方来控制发送方,接收方告诉发送方,自己最多可以接受多少数据,然后发送方根据这
守护进程概念及实例 守护进程(Daemon)是运行在后台的一种特殊进程。它独立于控制终端并且周期性地执行某种任务或等待处理某些发生的事件。守护进程是一种很有用的进 程。Linux的大多数服务器就是用守护进程实现的。比如,Internet服务器inetd,Web服务器httpd等。同时,守护进程完成许多系统任 务。比如,作业规划进程crond,打印进程lpd等。在了解守护进程前,先看看进程组、会话、控制终端以及作业的概念
多进程和多线程 “进程是程序在处理机上的一个执行过程,是资源分配的基本单位”;“线程是CPU调度的一个基本单位”。概念,我们都烂熟于心了,那么是否可以究其本质的分析下,多进程和多线程的优缺点,以便在实际场景中进行合适的选择了?一、多进程1、概念在同一个时间里,同一个计算机系统中如果允许两个或两个以上的进程处于运行状态,这便是多任务。现代的操作系统几乎都是多任务操作系统,能够同时管理多个进程的运行。2、优点1)编程相
随机数问题 一、用随机函数构造另一个随机函数比如,有这样一个需求,现在有一个rand5()函数,这个函数可以生成1-5的随机数,让你通过这个函数生成1-7范围的随机数。怎么做了? 一般思路是这样的:用两次rang5函数,通过这两次rand5结果,构造出一个随机数范围包括0-7,但比0-7大的范围就好了。比如(rand5 -1)*5 +rand5,它的范围为1-25(包括0-7),因为rand5产生每个数随机概
Linux命令-sed 原文地址:linux sed命令详解一、简介sed 是一种在线编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有 改变,除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作