2016年11月_fjssharpsword

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Java实现算法导论中反复平方法模取幂

在众多的加密算法中都需要进行幂的取模运算，比如在RSA算法中需要计算d=ne mod N，我们称之为幂模算法，其中：N=p*q（p，q为大素数）n为加密数据，ne为公钥，d为私钥，满足关系ed≡1 (mod (p-1)*(q-1))其中n,e都是非常大的数，ne mod N用算法导论中的反复平方法，具体代码如下：package cn.ansj;public class

2016-11-29 10:31:19 2309

原创 Java实现算法导论中求解模线性方程解（基于最大公约数欧几里得扩展算法）

基于最大公约数欧几里得扩展算法求解算法导论中模线性方程解。具体要结合算法导论中的有关数论算法章节理解，具体代码如下：package cn.ansj;/* 假设方程ax=b(mod n)有解，且x0是方程的任意一个解，则该方程对模n恰有d个不同的解(d=gcd(a,n))，分别为：xi=x0+i*(n/d) mod n 。 */public class ModularLinea

2016-11-28 10:56:00 2243

原创 Java实现算法导论中最大公约数欧几里得算法

最大公约数的欧几里得算法，代码如下：package cn.ansj;public class GCD { public static void main(String args[]) { GCD g = new GCD(); //d=gcd(a,b)=gcd(b,a mod b) int igcd = g.getGcd(42823, 6409);

2016-11-25 11:57:06 2403

原创 Ansj中文分词Java开发自定义和过滤词库

Ansj中文分词应用时，需要自定义词库，比如城中村，分词成城、中、村，需自定义词库，有时，也需要过滤单词。具体代码如下，可以结合执行结果看代码效果。1、过滤词库package csc.ansj;import org.ansj.domain.Result;import org.ansj.recognition.impl.FilterRecognition;import org.ans

2016-11-23 15:39:05 13408 2

原创离线轻量级大数据平台Spark之中文字符显示问题的解决

问题：spark读取文本文件转化成JavaRDD后发现中文字符显示乱码。在spark-shell环境里执行：System.getProperty("file.encoding")，返回GB2312，和文本文件UTF-8编码不一样。解决：在spark的Java代码中加入字符集设置即可。//第一步：设置Java环境字符集，避免中文乱码Properties pps=System.getP

2016-11-23 15:31:02 4572

原创 Java实现算法导论中快速傅里叶变换FFT迭代算法

要结合算法导论理解，参考：http://blog.csdn.NET/fjssharpsword/article/details/53281889FFT的迭代实现，可以实现并行电路，和比较网络中的比较器思想一样。具体代码如下：package sk.mlib;public class FFTItrator { int n, m; // Lookup tables. Only need

2016-11-22 10:53:39 4306

原创 Java实现算法导论中快速傅里叶变换FFT递归算法

要结合算法导论理解，参考：http://blog.csdn.net/fjssharpsword/article/details/53281889代码中算法思路：输入n位（2的幂）向量，分别求值FFT和插值逆FFT，并计算卷积。package sk.mlib;/*****************************************************************

2016-11-22 10:26:55 8274 5

原创算法导论之多项式与快速傅里叶变换

在学习本篇之前，有必要理解傅里叶分析相关概念，网上说的比较通俗的参考如下：https://zhuanlan.zhihu.com/p/19763358要理解正弦和余弦、离散和连续、时域和频域的关系。两个n次多项式相加所需时间为⊙(n)，而相乘则是⊙(n2)，采用快速傅里叶变换FFT方法，可将多项式相乘运行时间降低到⊙(nlgn)。傅里叶变换最常见用途是信号处理，在时间域内给定的信号把时间

2016-11-22 09:12:36 4178 2

原创 Ansj中文分词Java开发词性分类

用ansj分词后，只提取满足提交的词性的单词。Ansj下载地址：http://maven.ansj.org/org/ansj/ansj_seg/辅助包NLP下载地址：http://maven.ansj.org/org/nlpcn/nlp-lang/这两个包引入Java工程中即可，具体代码如下：package csc.ansj;import java.util.Iterator;

2016-11-21 16:20:17 5926

原创全文检索工具迅搜的安装和体验（可用于自建中文全文搜索引擎）

1、Ubuntu环境下安装： 1)LNMP安装：参考https://lnmp.org/install.html #wget -c http://mirrors.duapp.com/lnmp/lnmp1.3-full.tar.gz && tar zxf lnmp1.3-full.tar.gz && cd lnmp1.3-full && ./install.sh lnmp

2016-11-17 17:32:40 3629

原创 Java实现算法导论中线性规划单纯形算法

需在理解算法导论中线性规划单纯性算法基础上理解Java实现的代码，结合http://blog.csdn.net/fjssharpsword/article/details/53195556理解。具体代码如下：package sk.mlib;import java.util.Random;/***********************************************

2016-11-17 11:51:56 9010 3

原创模拟浏览器自动化测试工具Selenium之三页面窗口切换开发篇

不同网站有不同特性，需要掌握selenim基本网页元素定位以及浏览器控制，本文解析网页主要实现以下操作：1）模拟鼠标操作，点击按钮提交；2）获取浏览器窗口句柄，切换到当前窗口下操作；3）处理不带总页数的列表页，设计两个变量iDyn和iSta并定位下一页来翻译；4）处理弹出框alert；5）通过对元素定位支持不同网页模板的信息采集；6）网页内table元素的处理。具体代码如下：package

2016-11-17 10:41:41 3220

原创算法导论之线性规划

线性规划，充斥着运筹学，在图的单源最短路径求解差分约束系统就是用到线性规划。怎么样问题可以建模为线性规划来解决呢？在给定的有限的资源和竞争约束情况下，取得最大化或最小化目标的问题。导论中给出政治竞选问题、航空航线调度问题、钻井采油问题。最大化或最小化目标是函数的因变量，自变量就是资源的约束因素，其函数就是由这些制约因素构成的等式或不等式。下面数学定义下线性规划。在一般线性规划问题中，最优化一个

2016-11-17 09:21:32 23690

原创模拟浏览器自动化测试工具Selenium之二Html基本元素开发篇

发现用IE浏览器，有很多动态网站加载错误，只好安装chrome浏览器，然后下载chrome driver来驱动。通过selenium的基本元素定位操作来和网页交互。具体代码参考如下：package com.test;import java.io.BufferedReader;import java.io.StringReader;import java.util.List;impor

2016-11-16 10:59:20 2639

原创模拟浏览器自动化测试工具Selenium之一eclipse集成开发部署篇

1、背景：在网页自动化测试和网页表单自动交互的场景中，对动态js页面的加载，隐藏链接爬虫和表单元素需要加载js来解析。 htmlunit相比较于htmlparser以及httpclient只能解析静态页面来说，可以支持动态js页面的解析，但对js支持不是很好，如angularjs，因此需采用模拟浏览器的工具。 Selen

2016-11-15 10:21:54 4076 1

原创前沿技术资料百度云链接(资料共享)

1024G——前沿技术资料百度云链接：人工智能：链接：http://pan.baidu.com/s/1nvk5AaP 密码：dpg5深度学习：链接：http://pan.baidu.com/s/1slvSHpN 密码：v3ro数据分析：链接：http://pan.baidu.com/s/1slALMPJ 密码：drgs算法：链接：http://pan.baidu.

2016-11-14 08:52:39 20550 6

转载 (转载)奇谈怪论：从容器想到去IOE、去库存和独角兽

2016年，容器化技术如火如荼，诞生于2013年的Docker成了行业的宠儿，它让炒了8年的DevOps有了更具体可落地可执行的工具。虽然有一定程度的过火现象（所谓的hype），虽然有很多IT人（尤其是在传统垂直行业的信息技术部里）依然怀疑容器与虚拟机的差别，但总体来说，容器化可能算的上是软件开发领域的又一次“运动”。每一次“运动”，都是有很多人追随、有很多技术架构被（一窝蜂的）重新设计、

2016-11-14 08:48:47 2741

原创离线轻量级大数据平台Spark之读取CSV文件实例

Spark的RDD数据集很适合处理轻量文件，一般场景下是excel文件，可以将excel文件另存为CSV（逗号分隔），Spark读取CSV文件形成RDD。1、序列化类Record，用于保存字段package sk.sql;import java.io.Serializable;public class Record implements Serializable { Strin

2016-11-09 16:16:48 7224 2

原创算法导论之矩阵运算

矩阵运算的重要性应该不亚于图算法。先重温下矩阵的相关概念和性质，为后续矩阵运算奠定数据理论基础。矩阵A：数字的一个矩形阵列，形式化为A=(aij)，第i行j列元素为aij，如元素为实数的所有元素mXn矩阵组合的元素用RmXn表示。矩阵转置AT：是矩阵A的行和列互相交换而产生的举证。向量（Vector）：是数字的一维向量，列向量看成是nX1的矩阵，转置成行向量就是1Xn的矩阵。单位向

2016-11-09 09:18:49 6140

原创离线轻量级大数据平台Spark之MLib机器学习库Word2Vec实例

Word2Vecword2vec能将文本中出现的词向量化，可以在捕捉语境信息的同时压缩数据规模。Word2Vec实际上是两种不同的方法：Continuous Bag of Words (CBOW) 和 Skip-gram。CBOW的目标是根据上下文来预测当前词语的概率。Skip-gram刚好相反：根据当前词语来预测上下文的概率。这两种方法都利用人工神经网络作为它们的分类算法。起初，每个单词都是一个

2016-11-07 15:13:51 4286

原创离线轻量级大数据平台Spark之MLib机器学习库SVM实例

支持向量机，因其英文名为support vector machine，故一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。http://www.dataguru.cn/thread-371987-1-1.html参考该网站理解SVM基础数学原理。依据距离计算分类的思想，适用于

2016-11-07 14:46:22 2916

原创离线轻量级大数据平台Spark之MLib机器学习库朴素贝叶斯实例

1、朴素贝叶斯介绍表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率，公式为：贝叶斯定理：从已知P(A|B)获得P(B|A)值。假设A和B代表两类互相影响的事件，如B代表正常邮件和骚扰邮件事件、A代表邮件文本中出现特定词汇的事件。定义：Ai，其中i∈[1,m]，m是A事件总数；Bj，其中j∈[1,n]，n是B事件的总数。根据条件概

2016-11-03 15:13:33 3629

原创算法导论之排序网络

排序网络算法是基于比较网络模型，可以同时执行多个比较操作，和串行计算（随机存取计算机RAM）机制不一样。首先要介绍下比较网络。比较网络由线路和比较器构成。一条线路把一个值从一处传输到另一处，把比较器的输入端和输出端相连。假定比较网络含n条输入线a1,a2,…,an，以及n条输出线b1,b2,…,bn，需要排序的值通过输入线进入网络，由网络计算出的结果通过输出线输出。算法导论中给出的案例很清晰地

2016-11-03 08:44:48 5666

原创离线轻量级大数据平台Spark之MLib机器学习库TF-IDF实例

TF-IDF（termfrequency–inverse document frequency）是TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的

2016-11-02 12:45:26 3041

原创算法导论之最大流

最大流是图应用，将有向图理解为一个流网络，可模型化流经管道的液体、通过装配线的部件、电网中的电流、通讯网络传送的信息等，源点以固定能量产生，而汇点则消耗同等能量，保持守恒。最大流问题追求的就是在流网络中，物质从源点传到汇点的最大能量是多少？对于流网络，算法导论中给出了形式化定义。流网络G=(V,E)是一个有向图，其中每条边(u,v)∈E均有一个非负能量c(u,v)≥0。如果(u,v)∉E，则假

2016-11-01 15:08:20 4164