2018年05月_大鱼-瓶邪

11月 10月 09月 08月 07月 06月 05月

原创 Eclipse下创建hadoop项目-----创建HDFS文件和上传资源至HDFS

打开Eclipse，新建java project，将相关的hadoop包导入lib，具体方法见：https://blog.csdn.net/qq_25948717/article/details/80428129选中lib下的所有jar包，右键，Add to Build Path,即可把所有jar包添加到path环境中，Reference中可以看到。创建com.hdfs包，新建mkdirHdfsF...

2018-05-25 23:24:54 5694

原创 Linux下查看CPU信息并且计算机器的浮点运算能力

2018-05-25 13:22:01 10925

原创 Hadoop中RPC机制实现（源码）

RPC（Remote Proceduce Call）:远程过程调用协议（通过网络从远程计算机程序上请求服务，不需要了解底层网络技术的协议），RPC假定某些传输协议的存在，例如TCP或UDP，RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。具体过程：首先，客户机调用进程发送一个有进程参数的调用信息到服务器进程，然后等待应答信息。在服务器端，进程保持睡眠状态直...

2018-05-25 00:54:00 410

原创 Eclipse创建hadoop项目步骤

打开eclipse，创建java项目，选中hadoop工程，右键单击创建folder，输入lib：在命令行下将核心包导入lib：导入hadoop-hdfs-2.8.2.jar导入hdfs下的库导入hadoop-common-2.8.2.jar导入common下的jar查看导入的jar包,修改文件所属者：单击hadoop项目，Refresh.单击hadoop，右键Build Path-->Co...

2018-05-23 23:46:04 7113

原创文献单词积累

non-axisymmetric ------非轴对称

2018-05-23 16:37:52 340

原创 Hadoop常见命令总结

注意：使用hadoop命令时，/ 代表是$HADOOP_HOME的目录（即HDFS文件系统的根目录），要和本地主机的/区分开。1.上传文件到hdfs系统的根目录下： hadoop fs -put filename / 查看：hadoop fs -ls / 进入到自己设置的存放data的目录，输入 ls -lrt 可以看到Block的列表信息 ...

2018-05-22 23:54:54 518

原创 Centos安装Eclipse的hadoop插件（Hadoop开发）

首先下载eclipse:http://www.eclipse.org/downloads/packages/release/Mars/2注意不要下错了，用oxygen版的话会因为gtk+版本过低无法打开eclipse解压到安装目录（自己定）后，将插件拷贝到eclipse/plugins 和eclipse/dropins里面：运行eclipse/eclipse就可以了，点击NEW-Project看...

2018-05-22 13:06:04 1892

原创 NImrod中bin文件的数据格式解读

例如当要分析discharge.bin时，在用MATLAB做数据提取时，打开/public/users/yexin/nimall2015/nimdevel/draw文件夹，打开README.draw文件可以看到：draw*.in里面的内容就是对应的bin文件里面的数据结构，这里要看discharge.bin里面的数据结构，就打开drawdis.in,内容如下。variable列对应的是names列...

2018-05-22 11:16:33 3551

转载 http和https区别与联系(通俗易懂)

感谢原作者，本文转载自http://www.mahaixiang.cn/internet/1233.html超文本传输协议HTTP协议被用于在Web浏览器和网站服务器之间传递信息，HTTP协议以明文方式发送内容，不提供任何方式的数据加密，如果攻击者截取了Web浏览器和网站服务器之间的传输报文，就可以直接读懂其中的信息，因此，HTTP协议不适合传输一些敏感信息，比如：信用卡号、密码等支付信息。为了解...

2018-05-21 17:31:13 1601

原创 Linux系统中一些文件解释

/etc/profile ----环境变量的配置文件，对所有用户有效/etc/network------IP配置/etc/hostname-----主机名文件/etc/resolc.conf------ 域名服务器文件/etc/host-----------内网搭建时的Ip和主机名映射...

2018-05-20 18:05:26 210

原创 Linux中一些常用的命令

systemctl restart network ---------------重启网络ifup ens33 ----------------单独启动网卡service iptables stop -----------------关闭防火墙（centos7不适用）...

2018-05-20 18:05:13 156

原创 Centos卸载和安装Mysql数据库

在Linux上安装mysql数据库，我们可以去其官网上下载mysql数据库的rpm包，http://dev.mysql.com/downloads/mysql/5.6.html#downloads，大家可以根据自己的操作系统去下载对应的数据库文件，首先查看是否安装：rpm -qa | grep mysql　　// 这个命令就会查看该操作系统上是否已经安装了mysql数据库有的话，我们就通过 rpm...

2018-05-20 18:04:50 7582 1

原创 Centos安装FTP

1、检查是否已经安装vsftp rpm -qa | grep vsftpd 出现 vsftpd-..-** 说明已经安装2、安装vsftpd （也可以离线安装：下载vsftpd： ftp://rpmfind.net/linux/centos/6.7/os/x86_64/Packages/vsftpd-2.2.2-14.el6.x86_64.rpm 离...

2018-05-20 17:02:33 1129

原创 TCP三次握手中SYN，ACK，Seq含义

TCP(Transmission Control Protocol)传输控制协议TCP是主机对主机层的传输控制协议，提供可靠的连接服务，采用三次握手确认建立一个连接：位码即tcp标志位，有6种标示：SYN(synchronous建立联机) ACK(acknowledgement 确认) PSH(push传送) FIN(finish结束) RST(reset重置) URG(urgent紧急)Sequ...

2018-05-20 15:39:38 85461 10

原创大数据的内涵理解

大数据内涵：大数据是未来的钻石矿和新石油，一个国家拥有数据的规模和运用数据的能力成为综合国力的重要组成部分，对数据的占有和控制也成为国家间和企业间新的争夺点。大数据并不是指大规模数据，而是海量数据和大数据处理技术的结合。大数据是融合物理世界、信息空间和人类社会三元世界的纽带。大数据的出现依赖集成电路技术和网络技术的发展，前者为大数据的产生和处理提供计算能力，后者为大...

2018-05-20 15:18:17 5671

原创 Linux中开启VNC服务

在某个linux主机上安装VNC,可以让客户端连接时呈现图形界面首先需要检查一下服务器是否已经安装了VNC服务，检查是否安装VNC的命令如下：rpm -qa | grep vnc已安装。如果没有安装，运行：要以root运行下面的命令yum install tigervnc tigervnc-server安装，使用下面的命令编辑配置文件：vi /etc/sysconfig/vncservers可能您...

2018-05-18 16:09:42 13191

原创 Linux集群下各节点的时间同步

一般而言分三种情况：1，各节点可以连接外网 2.集群中某个节点可以连接外网 3.所有节点不能连接外网一些命令说明： date命令： date :查看当前时间， date -s 09:38:40 :设置当前时间 ntpdate命令： ntpdate -u 210.72.145.44 :网络时间同步命令注意：若不加上-u参数，...

2018-05-18 11:39:40 8376

原创 Linux集群中切换节点出现$4.1类问题的解决办法

出现这类问题多是由于相应节点没有挂载公共磁盘（所有节点都可以访问），而集群中的用户目录都在公共磁盘上，导致切换时出现错误。例如如下，切换node41时出现下面问题查看挂载情况：我的用户目录在/public/users/yexin，显然没有用root用户切换到node41（注意一半普通用户不能切换但是root而已，是因为root用户在各个机器上有自己的目录在/root下，无需公共磁盘，ssh nod...

2018-05-16 21:45:10 3482

原创批量关闭Linux计算机集群

实验室集群是有83个机器组成的集群，node100是主节点，其余node1-node82是计算节点，有时停电要关闭集群，不可以直接关闭主节点（输入 init 0 表示关闭），要先关闭计算节点，再关闭主节点，可以通过下面的脚本命令关闭：脚本：shutdown.sh 注意把脚本执行权限设为root所有for ip in `seq 1 82`; do echo"---------[shutdo...

2018-05-16 21:29:28 1913

原创 Python3按一定数据位数格式处理bin文件

因为研究生阶段经常用MATLAB作图，处理数据，但是MATLAB太过于庞大，不方便，就想用python处理。问题：我们通常处理的最原始的数据是bin文件，打开后如下所示，是按16进制形式存储的。 MATLAB处理时，是按照如下方式读取前10个数，int32数据格式，上图中的红色圈表示MATLAB读取的一个数据，前10个数据表示元数据。MATLAB读取的...

2018-05-16 19:28:03 7512 1

转载 Mysql数据库常用的命令大全

本文转自https://blog.csdn.net/poloyzhang/article/details/41142533MYSQL常用命令1.导出整个数据库mysqldump -u 用户名 -p –default-character-set=latin1 数据库名 > 导出的文件名(数据库默认编码是latin1)mysqldump -u wcnc -p smgp_apps_wcn...

2018-05-16 12:58:21 537

原创 Lnuix开放固定端口

建议采用第二种开放端口的方法：方法一：命令行方式 1. 开放端口命令： /sbin/iptables -I INPUT -p tcp --dport 8080 -j ACCEPT 2.保存：/etc/rc.d/init.d/iptables save 3.重启服务：/etc/init.d/iptables rest...

2018-05-15 13:43:32 283

原创 Hadoop集群启动后在网页无法看到DataNode信息

问题描述：node82作为namenode节点，node81,node80,node79作为datanode,jps显示都是启动的，可以登陆网页却看不到 datanode节点信息。网页显示：各节点之间都可以ping解决方案： ...

2018-05-15 13:40:29 13298 1

原创查看整个Hadoop集群的进程

hadoop集群工作状态查询时，需要ssh在每台机器上进行jps。可以使用了脚本查看集群各机器工作状态，比之前来回切换方便很多。以下是针对我个人搭建hadoop集群，具体业务需要具体分析。查看hadoop集群工作脚本#!/bin/bash #我们将脚本存入在node82，因为它有到node81,node80,node79的免登录 clear for ip in node82 node81...

2018-05-15 13:22:05 9097

原创一台Linux电脑连接另一台Linux(SSH实现linux之间的免密码登陆)

首先查看是否安装ssh服务：systemctl status sshd.service 启动服务：systemctl start sshd.service 重启服务：systemctl restart sshd.service 开机自启：systemctl enable sshd.service 若已安装就行，否则输入：yum install openssh-server安装安...

2018-05-14 15:51:07 15545

原创两台linux之间拷贝文件（简单高效）

将文件从本地拷贝到服务器：将当前目录下的filename文件拷贝到远程服务器192.168.2.208的/home/username/Documents下，如果不用root可能由于权限不够，无法拷贝。scp filename root@192.168.2.208：/home/username/Documents如果出现 filename下有很多子文件，用scp –r filenameroot@21...

2018-05-14 15:47:42 8013

原创在集群中各节点上离线安装python3.6

说明：该计算node100为主节点，可连外网，其他节点通过内部网络连接，无法连接外网。1.假设编译环境已经准备完善。否则执行下面命令 yum groupinstall 'Development Tools' yum install zlib-devel bzip2-devel openssl-develncurses-devel 2.通过主节点下载 wget https://w...

2018-05-14 15:44:54 2077 2

原创矩阵的卷积核运算（一个简单小例子的讲解）

卷积运算：假设有一个卷积核h，就一般为3*3的矩阵：有一个待处理矩阵A：h*A的计算过程分为三步第一步，将卷积核翻转180°，也就是成为了第二步，将卷积核h的中心对准x的第一个元素，然后对应元素相乘后相加，没有元素的地方补0。这样结果Y中的第一个元素值Y11=1*0+2*0+1*0+0*0+0*1+0*2+-1*0+-2*5+-1*6=-16第三步每个元素都像这样计算出来就可以得到一个输出矩阵，就...

2018-05-14 15:36:14 28902 5

原创张量的通俗理解

1 关于张量的四种定义“张量”在不同的运用场景下有不同的定义。（1）张量是多维数组，这个定义常见于各种人工智能软件。听起来还好理解。（2）张量是某种几何对象，不会随着坐标系的改变而改变。（3）张量是向量和余向量（covector）通过张量积（tensor product）组合而成的。（4）张量是多重线性映射，即：，V表示是矢量空间， V*是对应的对偶空间。2 多维...

2018-05-14 15:29:28 42842

原创协同过滤算法

所谓的协同过滤算法就是：通过找到兴趣相投，或者有共同经验的群体，来向用户推荐感兴趣的信息。所以说，当一个用户 A 需要个性化推荐时，可以先找到和他兴趣相似的用户群体 G，然后把 G 喜欢的、并且 A 没有听说过的物品推荐给 A，这就是基于用户的系统过滤算法。例如：利用协同过滤向用户A推荐他喜欢的电影。Process：找到用户A(user_id_1)的兴趣爱好找到与用...

2018-05-14 15:09:51 482

转载基于Hadoop的大数据平台的整体架构介绍

原文地址：点击打开链接Hadoop是开源的分布式存储+分布式计算平台的框架大数据的热度在持续的升温，继云计算之后大数据成为又一大众所追捧的新星。我们暂不去讨论大数据到底是否适用于您的组织，至少在互联网上已经被吹嘘成无所不能的超级战舰。好像一夜之间我们就从互联网时代跳跃进了大数据时代！关于到底什么是大数据，说真的，到目前为止就和云计算一样，让我总觉得像是在看电影《云图》——云里雾里的感觉...

2018-05-13 21:19:39 40420

原创 SnowFlask算法的Java实现全局唯一ID（直接复制即可运行）

package AlgorithmProjects;/** * author:Yexin * create 2018-05-02 19:31 * Desc:该算法是用来生成全局唯一ID * SnowFlake所生成的ID一共分成四部分： * 1.第一位 * 占用1bit，其值始终是0，没有实际作用。 * 2.时间戳 * 占用41bit，精确到毫秒，总共可以容纳约140年的时间。...

2018-05-13 20:51:32 436

原创 Linux集群中多节点服务器下Hadoop集群安装（安全可靠）

参照上一篇：单节点下安装hadoop伪分布式集群安装完后，讲解安装hadoop集群点击打开链接 1.将上一节点node82中/usr/local中的安装好的hadoop 复制到新节点node81下的/usr/local (该节点作为datanode) 将node82作为namenode 因为上一节点中hadoop已经配置好，所以配置文件无需配置，但要保证该节点的...

2018-05-13 15:30:03 1219

原创 Centos6.5或着Centos7下安装新版的JDk

说明此次是在Linux集群下的某个单节点下安装的，节点中已经安装jdk1.6,jdk1.4,jdk1.5,jdk1.7版本，此次并没有将之前的版本jdk卸载。1.下载好jdk,例如jdk-8u172-linux-x64.tar.gz 直接去官网下载：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-213...

2018-05-13 15:08:48 1643

原创在Linux集群下的单节点下安装hadoop伪分布式集群

1.安装环境介绍：本次安装是在集群中的某个单节点下安装的，我负责的实验室集群有83个节点，主节点为node100,负责管理其余的node1—node82节点，集群中只有node100可以联网，因为后面的5个节点长时间没有人使用，所有拿来自己学习下，安装的目录也与所有节点的公共存储文件分开，在对应节点的/下面操做，所以丝毫不会对集群造成影响Centos6.5+Hadoop2.8.2+Jdk1.8 ...

2018-05-13 14:53:50 1348 1