2017年01月_HFUT_qianyang

12月 11月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创爬虫如何实现每天爬取，定点爬取[以股票数据为例]

分析抓取的数据抓包框架modelmainutilparsedb问题所在解决方法jobjobmain近期，有人将本人博客，复制下来，直接上传到百度文库等平台。本文为原创博客，仅供技术学习使用。未经允许，禁止将其复制下来上传到百度文库等平台。如有转载请注明本文博客的地址(链接)分析抓取的数据本文是以东方财富网的数据为例，这里只做技术学习使用，请勿滥用。如本文要抓取的数据是东方

2017-01-21 16:21:56 30941 8

原创 HMC(Hamiltonian Monte Carlo抽样算法详细介绍)

Hamiltonian Monte Carlo简介Hamiltonian dynamics的物理含义Simulating Hamiltonian dynamics the Leap Frog MethodExample 1 Simulating Hamiltonian dynamics of an harmonic oscillatorHamiltonian dynamics and th

2017-01-15 13:46:50 22175 1

原创 Author Topic Model[ATM理解及公式推导]

参考论文Modeling documents with topicsModeling authors with wordsThe author-topic modelGibbs sampling algorithms详细经典LDA模型目标分布及参数Author Model目标分布及参数Author-topic model目标分布及参数本文作者：合肥工业大学管理学院钱洋 email：

2017-01-13 11:34:13 4270 6

转载多元正态分布的后验采样(包含程序)

原文来自师兄的博客：http://blog.csdn.net/wjj5881005/article/details/53535613均值和方差未知的多元正态分布的后验Multivariate normal with unknown mean and variance从后验分布中采样均值mu和方差Sigma1. 均值和方差未知的多元正态分布的后验（Multivariate normal with

2017-01-10 21:22:45 6248

转载关于多元正态分布的条件概率密度

原文来自师兄的博客：http://blog.csdn.net/wjj5881005/article/details/53320403多元正态分布多元正态分布的条件密度多元正态分布多元正态分布的密度函数如下： fx(x1,...xn)=1(2π)k√|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ))f_{x}(x_{1},...x_{n})=\frac{1}{\sqrt{(2\pi)^{

2017-01-10 21:16:23 12243

原创 Java中矩阵运算(math3的使用)

math3简介math3中的矩阵操作演示结果本文作者：合肥工业大学管理学院钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。未经本人允许禁止转载。下面是本文博客的另一个地址，该网站是师兄弄得一个专门做机器学习的网站，非常不错。 http://www.datalearner.com/blog/1051484459699809math3简介math3是

2017-01-18 20:12:03 31931 4

原创 Eclipse中JDK从1.8换到1.7程序运行报错解决

从1.8换到1.7之后的截图为：然而，直接去运行程序后，发现报错。报错内容如下：Unsupported major.minor version 52.0Exception in thread "main" java.lang.UnsupportedClassVersionError: edu/hfut/autocrawler/main/AutoHomeWhileCrawler : Unsupport

2017-01-14 08:56:39 9512

原创 navacat无法打开excel解决

在导入数据时，出现了无法导入的问题。这里成功解决，特此记录一下，以免忘记。解决方法：将excel的文件打开，再用navacat导入数据，就没问题了。

2017-01-08 10:05:36 1459

原创 TF-IDF的java实现(权重排序，可用来处理大数据集)

TFIDF的主要思想程序使用程序结果TFIDF的主要思想TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。 TFIDF实际上是：TF * IDF，TF词频(Term Frequency)，IDF逆向文件频率(Inverse Document Frequency)。TF表示词条在文档d中出现的频

2017-01-07 14:09:32 6893 3

原创 Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.security.AccessControlExcep

hadoop在使用时，由于权限问题，没有解决，导致报错，如下，是我使用hive时，导致的错误。Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inod

2017-01-03 14:58:19 6893 3

原创 ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set

问题在使用sqoop导入数据时，报如下错误：ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@2cbefcfd is still active. No statements may be iss

2017-01-03 09:16:59 3937

原创 sqoop将mysql数据导入到hive指定的数据库中

本文作者：合肥工业大学管理学院钱洋 email：1563178220@qq.com 欢迎交流，禁止将本人博客直接复制下来，上传到百度文库等平台。我们在使用hive时，经常需要建立一些库，以防止总是将表放到一个根目录下，没有逻辑，不容易查找。如下图所示：之前，已经写过一篇博客，是介绍hive使用的，其地址为：http://blog.csdn.net/qy20115549/article/det

2017-01-02 20:49:38 13169 4

原创 sqoop2安装详细过程[截图说明]

安装的准备工作下载sqoop解压安装包创建相关目录配置sqoop环境变量并使环境变量生效修改sqoop配置文件启动sqoop安装的准备工作Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS

2017-01-02 18:55:29 8956 9