monkey131499-CSDN博客

原创 error: Microsoft Visual C++ 14.0 is required

最近使用Python开发用到一些模块，但在pip install安装时遇到报错“error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft C++ Build Tools": https://visualstudio.microsoft.com/visual-cpp-build-tools/”。把网上有关的方法都试了下，有的可行，有的不可行，特此记录一下，用于备忘。方法1：针对有问题的模块单独安装，或下载whl文件安装；

2021-05-19 09:48:04 637

原创 DeepDive安装使用（1）

DeepDive是由斯坦福大学InfoLab实验室开发的一个开源知识抽取系统，通过弱监督学习，从非结构化的文本中抽取结构化的关系数据。首先下载支持中文的DeepDive压缩包：https://pan.baidu.com/s/11_RsQfOIvu-7vtoEknBWpg 【提取码：ziwf】创建deepdive文件夹：mkdir deepdive修改文件夹所属组和用户： ...

2019-07-14 18:16:43 2148

原创 python与自然语言处理（六）：中文文本转图像

最近使用word2vec对文本进行向量化表示，然后模仿基于CNN的图像分类实现文本分类。既然是模仿图像，那就应该可以将文本用图像可视化一下，看看量化后的文本是什么样子。python处理图像的基本模块是Image库，由于实验中使用的是python3，需要安装的图像处理库为Pillow （pip install Pillow / conda install Pillow）。词向量模型使用的是gensi...

2018-04-09 16:46:53 801

原创 python与自然语言处理（五）：中文文本词云

之前一直想要做一个文本的可视化：词云，然后在网上搜到的一些制作词云的工具，有些是在线的就没有使用，今天偶然看到python提供的wordcloud库，可以方便制作词云，中英文皆可，赶紧试试，做个笔记，方便以后回顾。首先是要安装wordcloud库下载地址【需要翻墙】：http://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud学习官网

2017-06-14 14:33:57 4441 2

原创 Tensorflow GPU win7

用tensorflow实现CNN做了一段时间的实验，从小小白到小白，还是学到了很多，然而，有一点很痛苦的就是速度太慢了，每运行一次程序就要等个好长时间，是我电脑太渣了？一度在怀疑自己适不适合搞深度学习，硬件环境不足何必折磨自己~~好在，tensorflow有GPU了，还可以在windows上安装了，为了做TF买的笔记本终于可以好好派上用场了~~不说废话了，直接开始安装过程，安装实现TF的GPU也是

2017-06-09 10:41:18 1389 2

原创 Python与自然语言处理（四）：TensorFlow基础学习2

一元线性回归一元线性回归即从数据中找出线性关系，简言之，给定一堆数据点，每个点有两个变量组成，假设两个变量是有线性关系的，那么就需要根据这些数据点求出这个线性关系。假设回归函数：，对于给定的已知数据点(x1,y1)，希望h(x1)越接近y1，而h(x1)与y1差距使用均方差衡量(h(x1)-y1)^2/n，其中n表示总样本数。程序1输出结果：

2016-12-13 16:02:39 1320

原创 NLPIR+Hadoop

在Linux上实现hadoop+NLPIR对大量文本数据进行分词和标注

2016-11-08 14:43:19 1261

原创 java读写excel

实验环境：windows8.1，eclipse4.4， jre8需要jar包：若是.xls格式，可用jxl.jar；若是.xlsx格式，使用poi，下载1..xls格式写文件public void writeXls(String filepath) { try { WritableWorkbook book = Workbook.createWorkbook(new Fi

2016-09-05 15:31:55 588

原创 Python与自然语言处理（三）：Tensorflow基础学习

TensorFlow实现简单神经网络，并对iris花的种类进行预测

2016-08-08 21:34:58 7917 2

原创 Centos7 安装 matplotlib问题

最近使用Python过程中，需要使用matplotlib，但是在import的时候被告知没有该模块，那么就开始安装~我是在安装了numpy的前提下安装matplotlib刚开始我是使用pip进行安装：pip install matplotlib然而问题来了：重试，还是报错，想想有可能是依赖包没有加载完，所以换成yum命令进行更新安装：yum install python-m

2016-07-27 21:06:18 1378

原创 Centos7安装TensorFlow

TensorFlow也火了一段时间，想想既然要研究NLP，为什么不好好应用一下Google开源的Deep Learning平台呢，一切还是先从搭建环境开始。很多大神们也做了这方面的工作，汲取他人经验，Centos7+TensorFlow+Python3安装Centos7之前尝试升级Centos6.5到Centos7，完成了所有步骤，reboot的时候黑屏了，网上各种方法尝试未果

2016-04-16 21:12:14 16992 3

原创 Python与自然语言处理（二）基于Gensim的Word2Vec

Java调用NLPIC实现分词和标注工作，Python调用Word2Vec实现词向量相似度计算

2016-04-12 10:13:29 12065 3

原创 Python与自然语言处理（一）搭建环境

已经有Python环境，并安装了NumPy, Matplotlib安装SnowNLP下载地址：https://pypi.python.org/pypi/snownlp/0.12.2

2016-04-08 14:46:30 6925 2

原创 Python与机器学习（五）朴素贝叶斯分类

1结巴分词pip3 install jieba3kimport jiebaseg = jieba.cut("这里的樱花真美丽，还是去武大看樱花，听说那里的计算机科学学院还不错",cut_all=True)print('全模式：',"/".join(seg))seg = jieba.cut("这里的樱花真美丽，还是去武大看樱花，听说那里的计算机科学学院还不错",cut_al

2016-03-08 17:02:31 2548

原创 Python与机器学习（四）决策树

决策树优缺点：优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据；缺点：可能会产生过度匹配问题；适用数据类型：数值型和标称型决策树的一般流程：1.收集数据：可以使用任何方法；2.准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化；3.分析数据：可以使用任何方法，构造树完成之后，我们应该检查图形是否符合预测；4.训练算法

2016-03-01 10:23:31 5167 3

原创 Python与机器学习（三）：K-近邻算法

1.K近邻算法概念K近邻算法（K Nearest Neighbor算法，即KNN算法），是一个经典的机器学习算法，主要根据新数据与样本数据间的距离来判断所属类别。关于距离的测量通常采用以下几种方法：欧氏距离、曼哈顿距离、切比雪夫距离、余弦等。KNN算法的详细思想概念可以参看文章1和文章2.K近邻算法优缺点优点：精度高、对异常值不敏感、无数据输入假定；缺点：计算复杂度高、空间复杂

2016-02-25 21:03:05 857

原创 Python与机器学习（二）：Windows下科学计算环境搭建

【注意：安装numpy和scipy模块时注意与Python版本保持一致】1.安装numpy首先安装好Python，我安装的是Python3.4，并配置好Python的环境变量，即在环境变量path中添加Python路径然后在终端输入：python -m pip install -U pip，等待安装完成，界面如下：之后在此处下载numpy-1.10.4+mkl-cp

2016-02-24 23:31:37 2532

原创 Python学习（一）：入门

因为具有Java编程经验，所以Python上手相对比较容易。通过几个小示例程序来熟悉Python编程，所有程序均在Python3上完成。1.输入并打印输出# coding=utf-8 str=input("Input string:")print("您输入的字符串为,%s" % str) 知识点：input("某字符串")函数:显示"某字符串",并等待用户输入htt

2016-02-24 09:25:56 2639

原创 Python与机器学习（一）：简介

1.Python语言的优势1.Python的语法清晰2.易于操作纯文本3.使用广泛，存在大量开发文档2.开发机器学习应用程序步骤1.收集数据。常用的方法可以是网络爬虫从网站上抽取的数据、设备的实测数据、以及公开数据等。2.准备输入数据。对收集到的数据进行预处理，例如数据的格式。3.分析输入数据。主要是人工分析以前得到的数据，查看得到的数据是存在空值，并判断数据是否有

2016-02-23 22:25:07 722

原创 rabbitmq（三）消息确认

为确保发送的消息能够被消费者处理，rabbitmq提供了消息确认功能，这里send为消息生产者，receive为消息消费者。生产的消息首先会发送到服务器中保存，然后等待消费者处理，所谓消息确认功能，就是消费者在处理完消息后，给服务器发送一个反馈，服务器收到反馈后就会将对应的消息删除。倘若消费者超时不反馈，那么服务器就会将消息重新发送给其他消费者，造成了同一消息不停转发。rabbitmq

2016-02-23 17:43:47 1266

原创 eclipse相关设置

1.创建新类自动添加注释windows-->preference Java-->Code Style-->Code Templates code-->new Java files 编辑如下：${filecomment} ${package_declaration} /** * @author 作者 : * @version 创建时间：${date} ${

2016-02-23 16:39:05 570

原创 rabbitmq（二）简单测试

1.下载rabbitmq的javaClient库文件名：rabbitmq-client.jar下载地址：http://download.csdn.net/detail/monkey131499/9440572下载后将文件导入到项目中。2.消息发送类import java.io.IOException;import java.util.concurrent.T

2016-02-23 16:08:27 707

原创 rabbitMQ（一）入门安装

1. RabbitMQ简介RabbitMQ是一个开源的AMQP实现，服务器端用Erlang语言编写，支持多种客户端，如：python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX。用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。AMQP，即Advanced Massage Queuing Prot

2016-02-23 10:50:15 1924

原创 ProTeXt+win8.1安装

1准备工作：下载protext安装程序，点击这里，密码：a3fm2.解压压缩包，得到如下结构：3.安装：点击Setup.exe，进入安装界面MiKTeX是基本且必须的，在安装之前先Uninstall旧版本。然后点击Install选择好安装路径后就可以进行安装。然后安装TeXstudio，这是编辑工具同样是Uninstall旧版本，然后Install.

2015-11-15 09:30:20 2436 2

原创 win8.1+MATLAB安装步骤

1.下载MATLAB安装文件。这里是MATLAB7.0的下载地址点击2.下载下来的是一个iso的镜像文件，双击；3.找到文件夹中的setup.exe文件；4.开始安装step1:step2：名字和公司的信息可以任意填写，序列号可以在网上搜一下，我这里用的是14-13299-56369-16360-32789-51027-35530-39910-50517-5

2015-10-20 22:24:11 2573

原创 tomcat无法启动异常

最近在eclipse中启动tomcat一直报错，原来是我写的servlet无法加载进来，删掉servlet文件后就可以正常启动了。看错误信息发现是缺少jar包的原因，由于tomcat找引用的jar包时，是先找Tomcat/lib下的jar包，再找application所在的WEB-INF/lib目录，所以应该将工程需要的jar包导入到工程的WEB-INF/lib下，然后刷新工程，jar包会自动导入

2015-10-11 10:34:13 824

原创 win7中搭建solrcloud步骤

1.Solrcloud特色功能：1.集中式的配置信息；2.自动容错；3.近实时搜索；4.查询时自动负载均衡。2.solrCloud+tomcat+zoopkeeper搭建1.环境准备：Solr版本 4.7.2 tomcat版本 6.0.41 zookeeper版本 3.4.5 下载地址：http://www.apache.org/dyn/closer.

2015-10-11 10:27:56 942

原创 Lock wait timeout exceeded; try restarting transaction--MySQL

1、锁等待超时，是当前事务在等待其它事务释放锁资源造成的。可以通过找出锁资源竞争的表和语句，并且优化SQL语句，亦或是创建索引，如果仍然不能解决问题，可以适当减少并发线程数。2、你的事务在等待给某个表加锁时超时了，可能是该表正被另一个进程锁住始终未释放。可以用 SHOW INNODB STATUS/G查看锁的情况。3、在管理节点的[ndbd default] 区加：TransactionD

2015-10-10 20:38:11 869

转载 Java Web 中使用ffmpeg实现视频转码、视频截图

转载自:[http://www.cnblogs.com/dennisit/archive/2013/02/16/2913287.html]视频网站中提供的在线视频播放功能,播放的都是FLV格式的文件,它是Flash动画文件,可通过Flash制作的播放器来播放该文件.项目中用制作的player.swf播放器.多媒体视频处理工具FFmpeg有非常强大的功能包括视频采集功能、视频格式转换、视频抓

2015-10-07 16:33:34 1480 3

原创 Python笔记--除法

无论是C/C++/Java，在进行除法运算时都会舍去小数部分，即计算结果只保留整数部分。因此，若想使得计算结果保留小数，则需要将被除数设置为浮点型（float），例如：float z = float(x)/y; 在Python中也存在上述情况。 print 5/2; #2 print 5.0/2; #2.5 print 5/2.0; #2.5

2015-10-06 11:07:35 516

转载 Python笔记--lambda

lambda函数也叫匿名函数，即，函数没有具体的名称。先来看一个最简单例子：def f(x): return x**2print f(4)Python中使用lambda的话，写成这样g = lambda x : x**2print g(4) #16lambda表达式在很多编程语言都有对应的实现。比如C#：var g = x

2015-10-06 10:44:24 547

转载 html跑马灯代码大全(图片文字移动代码)

...普通卷动 ...滑动 ...预设卷动 ...来回卷动 ...向下卷动 ...向上卷动向右卷动向左卷动 ...卷动次数 ...设定宽度 ...设定高度 ...设定背景颜色 ...设定滚动速度 ...设定卷动时间 ...鼠标经过上面时停止滚动 ...鼠标离开时开始滚动width=960 height=30 scrollamo

2015-10-05 16:06:51 16412

转载 Linux查看CPU和内存使用情况

转自：http://www.cnblogs.com/xd502djj/archive/2011/03/01/1968041.html在系统维护的过程中，随时可能有需要查看 CPU 使用率，并根据相应信息分析系统状况的需要。在 CentOS 中，可以通过 top命令来查看 CPU 使用状况。运行 top 命令后，CPU 使用状态会以全屏的方式显示，并且会处在对话的模式 -- 用基于 top的

2015-10-05 15:31:21 480

原创 Java+Windows+ffmpeg实现视频剪切

又是好久没有将做的工作给记录下来，真是罪过好记性不如烂笔头~接触ffmpeg有一段时间了，由于没有细细研究所以很多细节都没有理解，因而出了问题也不知道是什么原因。这次的问题出在视频剪切上，与视频帧的提取类似，主要是运用命令的方式进行操作。这里对各个参数做了说明，参数顺序和格式参照ffmpeg的命令规范来写的。然后呢，当然是运行啦，网上看的多的是两种方法，一种是这样的Pr

2015-10-05 15:28:40 5736 2

原创 eclipse+Python搭建

参照博文的描述进行一步步的搭建，整个过程都比较顺利。但到最后测试的时候出现了点问题。Python2.7.3下载链接python for eclipse下载链接测试代码：def hw(n): ifn==1: return 1; else: return 2*n print hw(2);运行报错：

2015-09-28 16:30:49 677

原创 Java调用MATLAB程序

这次编写程序运用到Java和MATLAB，通过MATLAB写好程序并打包成jar文件copy到Java中进行调用，运行程序却抛出了异常。 Exception in thread "main" java.lang.UnsatisfiedLinkError: Failed to find the library mclmcrrt7_15.dll, required by MATLAB

2015-09-28 16:15:50 4922 2

原创 Hadoop自定义输出日志log4j

本文使用的是Hadoop2，需要在etc/hadoop/log4j.properties中进行相关设置。打开log4j.properties，配置如下：#为写日志的操作取个名字，MyLog。用来在程序中获取该日志的实例。并指定输出方式为自定义的OUTlog4j.logger.MyLog=DEBUG,OUT#设置OUT的输出方式为输出到文件log4j.appender.OUT

2015-05-07 14:30:42 5358 2