nywsp的专栏

原创 graph embedding调参

1. 训练速度不能太快，默认0.01就可以，深度学习非凸优化，训练太快容易错过最优解。2. node2vec p和q调整，学习相似性优先选择dfs，--walk_q 0.5 --walk_p 2，参考https://zhuanlan.zhihu.com/p/64756917.3. 出度太多的点从数据中剔除，防止结果不拟合；出现次数太少的结果剔除，防止结果随机...

原创 lightgbm xgboost

# encoding=utf-8# import tensorflow as tf# from tensorflow.contrib import learn# from lstm import generate_data, lstm_model, load_csvdataimport timeimport matplotlib.pyplot as pltimport pylab as...

原创 sklearn gbdt

# encoding=utf-8import timeimport matplotlib.pyplot as pltimport pylab as plprint time.strftime("%I:%M:%S")from operator import itemgetterfrom sklearn import linear_modelimport numpy as npfrom...

原创 scala gbdt以及数据处理

package comimport com.process_data.process_featuresimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/** * Hello world! * */object App { def main(args: Array[...

原创 mlp 代码

import osimport os.pathimport numpy as npimport tensorflow as tffrom tensorflow.contrib import learnfrom sklearn.metrics import mean_squared_errorfrom mlp import generate_data, lstm_model, load_...

原创 深度学习资料

RNN  lstm ： http://www.jianshu.com/p/9dc9f41f0b29

原创 cuda 程序

编译方法： nvcc -o process process.cu#include "./book.h"#define N 1028__global__ void add(int *a, int *b, int *c) { int tid = blockIdx.x; printf ("bianhao %d\n",tid); if (tid < N)

原创 ubuntu 14.04 安装 cuda 7.5

首先，需要去官网下载 .run 文件。  安装.run文件的方法比较简单， 安装 需要依赖的包：sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev  

原创 hadoop 权威指南 2、3章读书笔记

第二章                     1. Hadoop 将mapreduce 的输入数据划分成等小的数据块，称为输入分片，每个分片对应一个map任务。分片不能太大也不能太小，太大了并行的速率较低，太小了io花费的时间太多，默认是一个hdfs块的大小，也就是64m，因为这样的话就不需要跨节点调度不同的hdfs文件，也可以自己调节。                    

原创 spark,scala

集群中提交scala job命令：             spark-submit         --class  scala.line         --num-executors 40         --driver-memory 6g         --executor-memory 6g         --executor-cores 6         --maste

原创 svm原理

原创 朴素贝叶斯

根据李航的 《统计学习方法》，简单推导了一下朴素贝叶斯：

原创 逻辑斯谛回归总结

根据李航的 统计学习方法，总结了逻辑斯谛简单原理。    对于多分类来说，结果如下：

原创 GBDT 梯度下降决策树

1. Greedy Function Approximation: A Gradient Boosting Machine   （1）基本过程    假设有一组输出或者响应y，并且有一组输入或者解释x = {x1,x2...,xn}, 我们的目标是用一个训练方法，使得训练方法得出的数值拟合y，目标可以表示为L（y ,Fx）.    模型可以表示为：

原创 lda的变分推理

上文， lda 原理及变形  ，我们提到  e-step 我们要用变分推理的方法求解如下的优化问题：                        所以，这里用了其他的方法来求解。            我们提到的函数可以转化为log似然函数。根据逻辑似然函数的jesen 不等式性质，我们可以找到 log似然函数的下界。                      （

原创 lda 原理以及变形

1.为什么要使用lda？        我们简单来看一些其他的一些算法          （1） tf-idf                   这种方法给一篇文章提取一些有 代表性的词 来代表文章，tf是词频，idf是词的区分力（如果一个文章中包含一个词，其它文章包含的少可说明词有比较好的区分力度）。  这种方法是词向量的一种方法。  但是如果有两个文章分别是  “乔布斯离我们远去

原创 js基本语法

var 可以定义任何变量

原创 Sublime Text 3使用技巧

、Ctrl+P根据文件名打开文件。比如你想打开login/func/funtion.php，你只要在输入框中输入login/func/funtion.php即可，也可以用模糊匹配，如login/function等，模糊匹配还是自己去体验吧。

原创 java基础总结

this调用类方法和成员变量只能在方法中，

原创 面试题总结

网络部分   范德萨

原创 java操作hbase

import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.a

原创 hbase命令

.登录hbase客户端./bin/hbase shell新建数据表，并插入3条记录 hbase(main):003:0> create 'test', 'cf' row(s) in 1.2200 seconds hbase(main):003:0> list 'table' test row(s) in 0.0550 seconds hbase(main)

原创 hbase安装

1.修改conf/hbase-env.sh，添加jdk支持 export JAVA_HOME=/usr/local/jdk export HBASE_MANAGES_ZK=true export HBASE_LOG_DIR=/data/logs/hbase2. 修改conf/hbase-site.xml， hbase.rootdir hdfs://master:9000/hba

原创 hadoop命令

格式化namenodehadoop namenode -format查看hadoop进程运行 jps查看Hadoop集群的状态hadoop dfsadmin -report关闭防火墙service iptables stop关闭安全模式hadoop dfsadmin -safemode leave列出H

原创 hdu 3572 最大流isap模版 邻接表写。。

题意：用m个机器，处理n个任务，每个任务必须在[si,ei]时间段完成，需要pi天才能完成。每个机器只能处理一个任务，即每天只能处理m个任务。题解：可以采用贪心法处理，区间覆盖问题，可以参见刘汝佳的书。或者采用最大流，建图：把每个任务和每一天看做一个点，增加源点s和汇点t，在s和每个任务之间连一条边，容量为持续天数；在每一天和t之间连一条边，容量为m；在每个任务和对应天数之间连一条边，容量

原创 poj 2553 tarjian+缩点。。。强连通分量

//强连通分量为搜索树中的一颗子树//stack自定义栈，dfn(u)为结点u的次序编号//low(u)为u或u的子树能够追溯到的最早的栈中结点的次序号//belong[u]为u所属连通分量#include#include#include#include#define N 5005using namespace std;bool istack[N];int stack[

原创 hdu 1232 畅通工程 并查集模版

#include#includeint ft[1001],m;int find(int x){if(ft[x]==0)return x;ft[x]=find(ft[x]);}void merge(int a,int b){int fa,fb;fa=find(a);fb=find(b);if(fa==fb)return;ft[fa]=fb;}int main()

原创 士兵杀敌四 树状数组之插点问线

#include#define max 1000003int c[max],m;int lowbit(int k){return k&(-k);}void add(int k,int he)//前k项都增加he{while(k>0){c[k]+=he;k-=lowbit(k);}}void Q(int k)//查询{int query=0;while(k<=

原创 java 大数

题目 http://acm.nyist.net/JudgeOnline/status.php?do=search&pid=&userid=wsp&language=0&result=0 import java.math.BigInteger;import java.util.Scanner;public class Main{/*** @param args*/public

原创 大数函数

在用C或者C++处理大数时感觉非常麻烦，但是在JAVA中有两个类BigInteger和BigDecimal分别表示大整数类和大浮点数类，至于两个类的对象能表示最大范围不清楚，理论上能够表示无线大的数，只要计算机内存足够大。这两个类都在java.math.*包中，因此每次必须在开头处引用该包。Ⅰ基本函数：1.valueOf(parament); 将参数转换为制定的类型

原创 nyoj 306 搜索+二分

#include#includeint st[105][105];int vi[105][105];int ans;int max,min;int n,fla;int fx[]={0,0,1,-1};int fy[]={1,-1,0,0};void dfs(int x,int y,int ma,int min){// printf("%d %dxyxy\n",x,y);if

原创 nyoj 542 map vector使用

#include#include#include#include#include#include#include#includeusing namespace std;vectorf[401];//存贮前面的 化学式vectore[501];//后面的vectorall;//新生的maphave;//已知的char s[110];void f

原创 java基础总结

float 赋值时后边加f  如 float ff=1.2f;静态变量 声明时前边 + static   如static int x=0;数据类型转换 低精度可以直接转换成高精度，高精度转换成低精度 需要显示类型转换int x=50;float y=x;显示转换int a=(int) 45.23;foreach 语句int str[]

原创 java字符串处理

String s; s=ss.next(); int fx=0; int x=0; int y=0; char[] st=new char[1000]; st=s.toCharArray(); System.out.println(st[2]); 转换成char数组，，可以单个操作。。

原创 java鼠标弹窗处理

import javax.swing.*;import java.awt.*;import java.awt.event.ActionEvent;import java.awt.event.ActionListener;class myjd extends JDialog{ public myjd(cre fra) { super(fra,"第一个jddi

原创 java mysql操作

import java.awt.Insets;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import com.mysql.jdbc.PreparedStatement;import com.mysql.jd

原创 jsp知识点

跳转页面forward 指令 传参接收   forward跳转

原创 jsp内置9个对象

application ：共享变量application.setAttribute("counter",String.valueOf(++i));接收 application.getAttribute("counter")request 封装请求 传递参数封装表单nn.jsp 用户名 性别

原创 servlet总结

jsp和servlet互相调用http://wenku.baidu.com/view/3ccfc1e1524de518964b7d1c.htmljsp中调用servlet方法返回为 request.getRequestDispatcher("head.jsp").include(request, response);servlet调用jsprequest.set

原创 frame 网页框架

frameset要放在head部分中。。否则不显示。。。cols是宽度。。rows是高度 //framespacing 为间距iframe为浮动框架，，，可以制作一些小块的东西框架的综合index.jsple.jspleft.htmlright.htmltop.html