aoxin1658-CSDN博客

转载 python某个module使用了相对引用，同时其name又是main导致的错误

2019-01-31 11:43:00 263

转载听别人报告

1、方差有啥用？比如30个人投票，15个赞成15个反对，那么这个时候方差最大2、auc曲线越高说明啥，画一条竖线，给定x值的时候y值越高越好转载于:https://www.cnblogs.com/amazement/p/9626405.html...

2018-09-11 11:11:00 112

转载 python编程指南

1、python文件引入同一个模块的python文件，在命令行执行的时候需要定位到模块内部，加入参数PYTHONPATH=../在pycharm中 import package一般都是按照绝对路径，如下图中国年sklearn_crf是一个package，在skCrfMain.py中用到了同级目录的文件，所以在 skCrfMain.py 中from sklearn_crf...

2018-06-28 19:01:00 117

转载 javacc在stanfordnlp中的应用

2018-04-13 23:24:00 114

转载 hystrix熔断机制修改配置

0、注意0.1、如果使用command 的 execute（）方法的话，其实在一个for循环，执行多次，其实每个的执行顺序并不是固定的，如果你想固定，需要使用queuecircuit breaker OPEN, executionnotattempte0.2、进入短路状态，不需要执行run，所以不需要一个新的线程，直接main就好了具体代...

2018-02-12 18:21:00 434

转载 python下 conda命令手册

0、说明：对于tensorflow配合keras使用，因为linux服务器没有root权限，所以目前最高可用版本是 1.6.0，否则就会报错某些 so找不到conda install -n xujiandeeplearning tensorflow==1.6.0---------------------------分割线说明：conda两个概念环境envs，每个环境下...

2018-01-16 13:42:00 98

转载服务器程序动态加载自定义jar包的过程

需求：用过hive的都知道，可以自定义hive的一个udf jar，然后将这个jar add到hive服务端，就会加载这个jar实现用户自定义逻辑。现在的需求就是实现这么一个服务端所做的事情！场景：用户自定义一些逻辑，主要是实现一个公共的接口，每个用户自定义自己的实现。然后服务端加载这些jar包以实现服务端的定制化.结构图如下pf4j开源工具说明搜索了一...

2017-09-15 16:05:00 159

转载 maven问题总结

1、错误was cached in the local repository, resolution will not be reattempted until the update interval of nexus has elapsed or updates are forced需要到mvn repository目录删除 *lastUpdated文件find ./ ...

2017-09-08 16:46:00 69

转载 tensorflow实现Word2vec

# coding: utf-8'''Note: Step 3 is missing. That's why I left it.'''from __future__ import absolute_importfrom __future__ import print_functionimport collectionsimport mathim...

2017-06-30 18:07:00 98

转载梯度下降做做优化（batch gd、sgd、adagrad ）

首先说明公式的写法上标代表了一个样本，下标代表了一个维度；然后梯度的维度是和定义域的维度是一样的大小；1、batch gradient descent：假设样本个数是m个,目标函数就是J(theta)，因为theta 参数的维度是和单个样本 x(i)的维度是一致的，theta的维度j thetaj是如何更新的呢？？说明下这个公式对于 xj(i...

2017-05-17 12:54:00 156

转载 clojure配置

1、转换clojure工程为eclipse工程InstallCounterclockwiseplugin in Eclipse (from eclipse marketplace). This brings clojure and leiningen support to eclipse.Addlein2-eclipseplugin to your pro...

2017-03-21 23:29:00 100

转载 es查询命令备份（只需要网页9200/_plugin/head/就可以访问）

本文只是写一些常用es命令，这里不用任何客户端，只用 9200/_plugin/head/ 那个端口网页就可以，然后是复合查询。注意es其实一个idnex只能有一个type，如果一个index做了多个type，坑。。。太多了，首先 where不能用，然后聚合也不能用。至少在es2.*是这样的，这个坑你可以搜索下“_type Field Not Available for Aggre...

2017-01-06 19:01:00 683

转载 lucene和es总结

一、首先介绍lucene涉及到的排序过程1.1、如何自定义排序对象你可以自定义collector对象；亦可以自定义comparator对象；可以自定义scoredoc对象，决定如何处理结果集合；1.2、这几种自定义之间有何区别？自定义collector和comparator有什么区别呢？？？？？？？？Besides building your own Co...

2016-12-25 00:58:00 212

转载 tf-idf知多少？

1、最完整的解释TF-IDF是一种统计方法，用以评估一个词对于语料库中的其中一份文件的重要程度。--------------就是给定语料库的情况下（给定语料库就是说已知语料库的属性信息），给定一个词语term，计算一个term对于文件的重要性（就是计算一个得分），文件是可变的；这样的话可以计算在词语在多个文件的得分然后做个排序就好了一个直观的感觉是：一个词语在当前文件出现...

2016-11-11 13:36:00 84

转载依存句法分析

一、一般有三个原则：一般实体是作为箭头的头部，表示被依赖结构；一个节点只能依赖于一个结构，但是可以被多个结构所依赖；是一个三元组,三者之间关系并不是固定的 (支配词/主词，被支配词/从词，依存关系)：所以针对一个固定的依存关系，支配词和被支配词是可以变的，而且一般是对应到词性级别的变化；二、依存关系举例分析，分为41种依存关系比如“美丽的中国”这句...

2016-10-19 14:00:00 207

转载如何将本地的jar包上传到maven本地仓库中

首先需要将本地的jar包做mvn install到本地仓库中mvn install:install-file -Dfile=D:\skyeye-ruleInfo\lib\lucene-queryparser-4.4.0.jar -DgroupId=org.apache.lucene-DartifactId=lucene-queryparser -Dversion=4.4.0 -D...

2016-09-28 18:19:00 138

转载 git使用手册

-2、pull by urlgit remote set-url origin --push --add user1@repo1git remote set-url origin --push --add user2@repo2git remote -v-1、gitlab使用：ssh-keygen -t rsa -C"your_email@unisound.com"...

2016-09-26 17:42:00 114

转载中文网页编解码问题

-1、解决httpexchange输入中文乱码问题// parse requestMap<String, Object> parameters = new HashMap<String, Object>(); //It's not exactly the answer to my questi...

2016-09-04 22:26:00 119

转载关于learntorank http://qiita.com/rockhopper/items/bb3d46f01df5f6499123

一、数据转换如何对于训练数据做pairwise的transform，比如你原始数据是要么点击要么不点击，如何对这些样本数据做pairwise的transform？下面的方法主要是做组合的方法，就是针对指定group的所有样本作两两组合，然后作相减操作。样本格式 <X,y>－－其中X是多维度变量就是不通特征值先上代码然后解释该代码：》》第一个if主...

2016-07-25 13:27:00 467

转载 macos开发pgsql数据库

mac安装Postgresql作为数据库最简单的方式是安装Postgres.App. 这个应用里自带了最新版本的PostgreSQL而且不需要学习数据库服务器启动和关闭的命令。程序安好后（别忘了拖拽到Application的文件夹里），会自动在端口5432开启一个PostgreSQL的服务器。在程序界面里还有一个很贴心的按钮 'Open psql'，可以自动为你在命令...

2016-03-23 18:52:00 108

转载网址

1、关于类别不均衡神经网络http://cs.nju.edu.cn/wujx/http://lamda.nju.edu.cn/code_EasyEnsemble.ashxhttp://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html转载于:https://www.cnblogs.com/amazement/p...

2016-03-16 09:55:00 111

转载关于类别不均衡

http://lamda.nju.edu.cn/code_EasyEnsemble.ashxhttp://cse.seu.edu.cn/people/xyliu/publication/tsmcb09.pdf其实处理类别不均衡问题主要还是依靠采样，这里做些ensemble 无外乎就两种 random 然后是 adboost这里也是如此！Under-sampling is ...

2016-03-07 19:05:00 83

转载 mac优秀软件介绍

1、首先是office软件：Microsoft_Office_2016_Installer.pkg然后是一个破解软件FWMSO2016VLU2.0.dmg_.zip两个都不可少2、然后是如果在mac下做android开发是比较恶心的，但是有一个集成eclipse开发环境的eclipse for android开发的集成版本是在 adt-bundle-mac-x86_...

2015-12-20 18:15:00 109

转载利用win7usb-dvdtool工具u盘安装win7

首先介绍下背景：我的电脑是两块盘，然后系统是ubuntu，但是因为最近觉得linux不怎么用了，所以想装回windows，这个过程遇到好多麻烦，主要是两方面的1.不识别u盘做的启动盘2、两块硬盘导致的无法安装系统盘的问题。网上搜索了资料以后解决了这两个问题，这文章做个记录1、不识别u盘制作的启动盘，表现为bios设置u盘后系统一直黑屏无反应，解决方法在制作u盘启...

2015-12-19 18:01:00 142

转载 R爬虫知识点

>>如何用 R 模仿浏览器的行为？ GET / POST URLencode / URLdecode (破解中文網址的祕密) header & cookie 如何突破使用 cookie 阻擋的網站 (如ptt 18 禁...等等)>>标出你想要的 data CSS Selector XPath Selector>>Parsing S...

2015-11-27 16:47:00 71

转载 RCurl getURL()函数做debug

getURL（）函数做获取网页做debug，三步骤1、首先创建一个对象debugGatherer()，该对象包含三个函数：(update(), value(), reset());R> debugInfo <- debugGatherer()R> names(debugInfo)[1] "update" "value" "reset"R&g...

2015-10-21 17:42:00 428

转载 R中一切都是vector

0、可以说R语言中一切结构体的基础是vector！R中一切都是vector，vecotor的每个component必须类型一致（character,numeric,integer....）！vector 是没有dimensions的也没有attributes，所以去掉dimension和attributes就成了vector（其实dimension可以作为attributes的一个属...

2015-10-21 11:05:00 138

转载跨集群 distcp命令

两个集群之间做数据同步，而且两个集群之间的版本不一致，这个时候使用的是hftp协议或者webhdfs协议！如果试图在两个运行着不同HDFS版本的集群上使用distcp命令来复制数据并使用hdfs协议，复制作业会失败，因为两个系统版本的RPC是不兼容的。要想弥补这种情况，1、使用htfp协议>>可以使用基于只读HTTP协议的HTFP文件系统并从源文件系统中读取数据。...

2015-10-20 16:26:00 205

转载 R中创建not-yet-evaluated对象

create not-yet-evaluated object在R中创建 not-yet-evaluated(就是some code we will evaluated later!!)对象;然后执行的时候需要调用eval(参数中提供执行环境)或者do.ca()执行；do.call()作用就是do.call( "someRFunction",aListOfArgs)<=...

2015-10-19 16:50:00 85

转载 R中list对象属性以及具有list性质的对象

R语言list的特点：It haslength,[[and[methods, and is recursive because list can contain other list!上图显示了操作符 [[和[的区别！---[返回结果依旧是一个list但是[[已经不是一个list了》》具有list属性的类还有1、call类对象：The first element o...

2015-10-19 16:41:00 296

转载 hive中导入json格式的数据（hive分区表）

hive中建立外部分区表，外部数据格式是json的如何导入呢？json格式的数据表不必含有分区字段，只需要在hdfs目录结构中体现出分区就可以了This is all according to this guide: http://blog.cloudera.com/blog/2012/12/how-to-use-a-serde-in-apache-hive/1 hive...

2015-10-16 17:37:00 136

转载 zk master-slaver机制

1、基本概念>>zookeeper handler （zk句柄）有点类似文件句柄，打开一个文件就保持了一个文件句柄！同样的道理：建立一个到zk server的session就会有一个zk handler（可以用任何编程语言）。>> move session：client 可以 connect到任意而且只能是一个server，但是如果超时（好久没有从se...

2015-10-14 12:34:00 148

转载 servlet session 相关

1、session是server维护的一个变量，如果消除每个session？----这里只做指定key的session删除1.1、显示调用废除指定key的sessionsession.removeAttribute("key");1.2、session设置生存周期，如果在这个期间内session没有表调用，那么自动删除public int getMaxIna...

2015-10-13 18:57:00 54

转载 hadoop配置远程客户端

独立出一台机器，作为客户端，可以连接远程集群，配置注意事项；1、首先是hive，需要服务器启动一个服务 hive --service metastore然后修改hive客户端 hive-site.xml,主要就是配置 metastore这个服务，注意端口，客户端需要首先telnet ip port ;检查是否可以通？ <property> ...

2015-10-13 14:25:00 257

转载将普通工程转为mvn标准工程（main resources)

It is sometimes required to change the default source folder working on the java project. One best example for this could be when normalizing the project tomaven.mvn标准工程是src/main/java src/main/...

2015-10-12 16:52:00 69

转载 log4j2 配置文件

首先pom文件如下<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://mave...

2015-10-12 16:11:00 78

转载 mvn生成runnablejar 的方法

主要讲3点，生成runnable jar 方法1是生成一个目录方法2是直接一个runnable的jar 方法3是关于包含spring工程的情况方法2和3其实是一致的1、生成runnable jar，但是最后并不是一个可执行的jar 而是一个目录主要使用三个插件将所需要的资源拷贝到/target/Crunchify目录下，注意并没有生成一个jar中去maven-re...

2015-10-12 10:15:00 113

转载普通工程转为mvn工程

不同类型的工程可以转为mvn工程，只需要一个插件You may need to installm2e-eclipseplugin in order to have this simple utility inEclipse.然后In your eclipse justright click on Java Projectand clickConfigureand...

2015-10-12 09:45:00 70

转载 java ReentrantLock可重入锁功能

1、可重入锁是可以中断的，如果发生了死锁，可以中断程序 1 //如下程序出现死锁，不去kill jvm无法解决死锁 2 public class Uninterruptible { 3 public static void main(String[] args) throws InterruptedException { 4 final Object o1 = new...

2015-10-10 17:51:00 62

转载在mapreduce中做分布式缓存的问题

一、问题描述：主要解决一个问题，就是两个表做join，两个表都够大，单个表都无法装入内存。怎么做呢？思路就是对做join的字段做排序两个表都排序，然后针对一个表a逐行读取，希望能够在内存中加载到另一个表b的数据，针对表a当前记录希望b的对应记录在内存中，这就是缓存的作用，希望命中率越高越好！这个问题其实关键就是做缓存！如下的情形是针对两个表做join的字段是两个，比...

2015-10-10 11:41:00 130

空空如也

空空如也