![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
java
文章平均质量分 72
Macanv
脚踏实地,每天进步一点点
展开
-
beanUtils 使用
beanUtils简介commons-beanutils 是apache commons子项目中的一个软件包,其主要目的是利用反射机制对JavaBean的属性进行处理。beanUtils包下载链接:[这里写链接内容](http://download.csdn.net/detail/macanv/9542584 "下载")原创 2016-06-06 16:15:46 · 828 阅读 · 0 评论 -
Spark 学习笔记 TF-IDF
spark 计算TF-IDF的多种方法TF-IDF相关概念请移步百度百科下面记录自己在做关键词抽取的时候,计算TF-IDF时候的经历,使用spark不多。 下面的始终方法我都试过,最后选了第四个方案,在500W篇新闻中,计算2-gram的IDF,用时5个小时,虽然时间用的很长,但是最终是可以跑起来。1. 基于mllib.HashingTF这个方法几乎可以直接copy 官网中的...原创 2018-08-24 14:19:28 · 1583 阅读 · 0 评论 -
LeeCode 列表排序
题目一 使用的方法对链表进行排序原题: 分析: 复杂度为O(n log n) 的排序第一时间想到的就是归并排序,没啥好分析的,算法过程是递归的进行划分,排序,最后进行合并原创 2018-01-04 15:14:29 · 437 阅读 · 0 评论 -
Java 从MySQL中读取大量数据
本文记录使用java的jdbc从MySQL中读取大量数据不出现OOM的方法,一般的使用jdbc读取的时候,会将查询结果全部导入到内存中,如果数据量很大的时候会出现OOM异常,本文将介绍如何使用MySQL中的分页功能,设置featchSize大小防止OOM,轻松读取海量数据的方法(笔者测试读取量为3000W行数据)原创 2017-10-22 19:37:25 · 8540 阅读 · 1 评论 -
[3].Spark 学习笔记 使用java ---explode
这篇文章将记录如何使用spark DataFrame将列数据展开,这里使用的是explode方法将对List数据和Map分别给出展开的例子原创 2017-10-20 16:47:12 · 10210 阅读 · 1 评论 -
使用server版的哈工大LTP进行NLP任务(Java实现)
哈工大的LTP可以说是开源中评测得分相对高的(比HanLP, jieba,ansj等都要好很多) 本篇文章记录了使用Java语言发送POST请求,请求搭建在服务器端的LTP-server进行NLP 处理。原创 2017-10-20 15:57:39 · 2686 阅读 · 1 评论 -
斐波拉契数列-java实现
从现在起,两个月的时间,决定把think in java 看完第一遍,接下来的一些博客就是针对书中一些课后习题的代码实现。如果有相同学习的朋友,可以留言一起学习。学习时间:2016.10.7-2016.11.30斐波拉契数列斐波拉契数列是由数字1,1,2,3,5,8,13,21,34等等组成的,其中每一个数字(从第三个开始)都是前两个数字的和。原创 2016-10-07 22:29:35 · 1734 阅读 · 0 评论 -
UJMP 矩阵库的基本用法
例子来自于官方文档,自己做了一点注释和输出原创 2016-11-05 08:33:41 · 5745 阅读 · 2 评论 -
MAC配置jdk1.7
OSX系统默认使用自带的jdk版本最高支持到1.6,想八卦的可以自行Google,在实际开发环境中,我们可能用到更高的版本,现在我们一起来实现一下在mac上安装JDK 7,并且附加了卸载jdk的方法。原创 2016-07-12 21:55:33 · 1149 阅读 · 0 评论 -
CentOS 64位编译Hadoop2.6源码
由于官网上的RPM都是32位的,运行在64位的机器上的时候或多或少的会出现问题,对于64位的机器,我们需要自己编译源码,生成可执行的Hadoop 程序。下载编译Hadoop需要有一些其他软件的支持,例如 Maven protoc等,下面让我们一起来实现这个过程。原创 2016-07-12 21:33:18 · 557 阅读 · 0 评论 -
Spark 使用JDBC进行select查询
spark 可以 通过jdbc直接将数据库中的一整张表直接读取出来作为一个DataFram,这样会出现几个问题: - 1. 表格太大,导致出现OOM; - 2. 读出来很多不需要的行,在join的时候,造成性能的浪费 这里记录通过JDBC通过select where语句只查询表格中的指定行java 代码如下:package utils;import Main.NewWor...原创 2018-08-24 14:34:07 · 9016 阅读 · 2 评论