- 博客(19)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Linux 下weka3.8中引用libsvm库
weka3.7及以上版本 利用packagemanager管理各种算法库，具体说明见http://weka.wikispaces.com/How+do+I+use+the+package+manager%3F,1.下载weka3.8, 配置weka3.8.jar 路径到CLASSPATH中，配置好后 终端输入java -jar weka3.8.jar即可启动weka2. 接下来引入
2017-12-13 13:37:02
691
原创 hive开发遇到的一些坑
遇到的问题：1. 数据倾斜，程序运行非常缓慢，长时间停顿。（大表数据量500多万，小表数据量仅180条），两个表关联， 数据严重倾斜。版本1：select '' as id, f1.apply_id, f1.number, f1.rule_name, a.apply_time, from ( select f1.apply_id,
2017-09-11 09:27:10
1007
1
原创 spark实现简单的pagerank
/** * Created by Administrator on 2016/8/9 . */ import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.JavaRDD; import
2016-08-16 17:50:54
3080
原创 排序算法(归并排序, 快速排序, 堆排序)
算法思想: 归并排序: 利用分治法, 每次将数组一分为二, 生成子数组, 分别对子数组排序, 在对排好序的子数组进行合并, 直到生成 有序的完整数组为止. 伪代码: void divide(int data[], int start, int end){ if(start
2016-08-10 08:47:47
1285
原创 C++实现数组中出现最频繁的前top k个元素
要求: 时间复杂度小于等于 nlogn.算法解题思路:1, 由于原始数组是杂乱无序的, 所以 统计数组中元素出现的次数时间复杂度达到了n^2, 不符合题意.2, 在统计数组中的元素出现次数之前, 先对数组进行排序, 用时间复杂度是 nlogn的排序算法进行排序, 在这里用C++ 中函数库STL中的sort直接排序, 关于STL中sort实现(成熟的快速排序算法, 结合了内插排序,具体
2016-05-10 21:11:34
3584
原创 eclipse中访问hdfs时候问题总结（hadoop-2.7.1）
以以下代码为例：import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.fs.FSDataInputS
2016-03-17 22:03:00
1116
原创 python KMeans算法学习
这里，使用scikit-learn模块中的聚类算法包KMeans, 仅支持欧几里得距离，默认初始点采用随机选取，也可使用k-means++（聚类中心点之间相距很远）方式选取初始点， 支持并发聚类． 在UCI下载小型数据集 Data_User_Modeling_Dataset_Hamdi Tolga KAHRAMAN，生成聚类模型并测试，绘制聚类结果散点图．聚类结果评估．import pandas
2016-03-15 15:27:33
723
原创 python 多线程学习
以下面的爬虫程序为例，详细学习python多线程编程。 知识点： 守护进程：也叫Daemon进程, 运行在linux或unix一种后台进程。不依赖终端运行，运行过程不会被终端打断，信息不会在终端上被显示出来，周期性执行任务或者等待某些事件的发生，与系统共生死，在系统启动时守护进程运行于后台，当系统关闭时，该进程也结束。 守护线程：python中的守护线程类似于java中的守护线程，像守护
2016-03-13 10:46:31
467
原创 matplotlib 中文标签乱码问题
ubuntu 下１．查看系统中文字体[hadoop@p168 ~]$ fc-list :lang=zh显示结果 /usr/share/fonts/truetype/droid/DroidSansFallbackFull.ttf: Droid Sans Fallback:style=Regular也就是说在我的系统中只有Droid Sans Fallback这一种中文字体．
2016-02-18 22:08:45
648
原创 ubuntu14.01 下hadoop-2.7.1 运行java程序问题总结
在这里，我只就 编译运行读取hadoop上文件的java程序所出现的问题 做出总结前提 hadoop-2.7.1,jdk已经成功安装。编译运行以下程序，该程序的功能是读取hdfs 上指定的文件, 并将结果输出到控制台：import java.io.*;import org.apache.hadoop.conf.Configuration;import org.apache.
2015-11-25 18:24:28
661
原创 ubuntu14.01 下python3.4 链接mysql数据库
在这里用pymysql，来完成连接mysql。首先， Python 3.4 以及以上的版本默认包含了 pip， 所以只需安装即可，具体说明见https://pip.pypa.io/en/latest/installing/#id7。 pip 是一个安装和管理 Python 包的工具 , 是 easy_install 的一个替换品。sudo apt-get install python3-
2015-10-20 10:33:33
533
原创 在ubuntu下 eclipse中配置tomcat
在ubuntu系统下， 想要将tomcat 8 集成在eclipse中， tomcat 8安装成功后， 启动eclipse， 发现 当我创建一个Server 的时候，点击tomcat 8.0 ， 却怎么也显示不了， 经过不断的尝试，终于发现 我的tomcat 8 具有一定的运行权限， 在命令行下运行需要sudo ,所以在eclipse下 运行tomcat8 ，必须 赋予 可执行权限， 只需在命令
2015-10-05 16:15:09
693
原创 递归分支的思想求最近对问题
//递归分支的思想求最近对问题public class ClosestPair { public static String closestpair(Point[] p,int start,int end){ if(start String s1=closestpair(p,start,start+(end-start)/2);
2015-07-24 15:19:18
406
原创 用分治算法同时求数组中的最值
//根据别人的最大值代码改写分治法求数组的最大值最小值public class MaxAndMin { public static void main(String[] args){ int AR[] = { 0,3, 4, 62, 70, 23, 120, 34, 800,-1}; int[] res=maxandminNu
2015-07-19 16:35:07
447
原创 找词”游戏是在美国流行的一种游戏，它要求游戏者从一张填满字母的正方形表中，找出包含在一个给定集合中的所有词。这些词可以竖着读（向上或向下）、横着读（从左或从右），或者沿45度对角线斜着读。
找词”游戏是在美国流行的一种游戏，它要求游戏者从一张填满字母的正方形表中，找出包含在一个给定集合中的所有词。这些词可以竖着读（向上或向下）、横着读（从左或从右），或者沿45度对角线斜着读（4个方向都可以），但这些词必须是由表格中邻接的连续的单元格组成。遇到表格的边界时可以环绕，但方向不得改变，也不能折来折去。表格中的同一单元格可以出现在不同的词中，但在任一词中，同一单元格不得出现一次以上。以下是一具体游戏事例，可以结合这个实例为该游戏设计一个蛮力算法。以下是我的实现，希望大家参考评价，有更好的实现改进。
2015-07-18 15:48:41
3067
原创 web项目中导入外部jar
我在eclipse中创建了个web项目， 编译好并打包成war, 上传至我的服务器。 在服务器中运行该项目时， 运行报错ClassNotFound, 经检查， 我发现在eclipse 生成war包时， 并未将我引入的第三方jar包给包含进去， 所以报错。 解决方法： 直接将我的第三方jar包上传至服务器， 并将其放在我的web项目中WEF-INF目录下的lib包中， 然后运行， 成功
2015-03-25 21:56:58
784
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人