工程技术
文章平均质量分 86
奋斗的小炎
设计推荐算法,接触过自然语言处理,对于人工智能领域的学习永无止境
展开
-
eclipse maven项目,如何导出使用的依赖jar包
(1)在eclipse中定位到maven项目的pom.xml文件;(2)右击pom.xml文件,选择Run As >> Maven build…(3)在下图的Goals框中输入“dependency:copy-dependencies”,后点击“Run”即可。当控制台出现“BUILD SUCCESS”时,表示build成功。在当前项目的根目录“targed/dependency”下可...原创 2018-05-25 11:22:56 · 3289 阅读 · 0 评论 -
(算法总结)堆排序的应用:寻找中位数
设计一个数据结构,可动态地维护一组数据,且支持如下操作:(1)添加元素:void addNum(int num)(2)返回这组数据中的中位数 double findMedian()【思考】如何获取一组元素的中位数(1)首先,我们马上想到的方法,最直观的方法就是:添加元素的同时进行排序操作(直插sort)addNum的复杂度是O(n),findMedian的复杂度则是O(1);(...原创 2018-07-18 16:32:53 · 7320 阅读 · 1 评论 -
(算法总结)堆排序的应用:求数组中第k大的元素
(一)预备知识:堆与堆排序二叉堆是一种非线性的数据结构,是一种完全二叉树的结构,分为大顶堆和小顶堆两种,其中大顶堆是指树中各父节点的值总是大于等于任何一个子节点的值;而小顶堆则是定义为树中各父节点的值总是小于等于任何一子节点的值。一般用二叉堆实现优先级队列,其内部调整的时间复杂度为O(logN),C++的标准STL库的优先级队列包括以下5种操作:(1)取堆顶操作:H.top()(2...原创 2018-07-18 14:30:19 · 3812 阅读 · 0 评论 -
(转载)用Maven构建的Mahout项目实现协同过滤
原文地址:https://blog.csdn.net/jiutianhe/article/details/401117911. 用Mahout实现协同过滤userCFMahout协同过滤UserCF深度算法剖析,请参考文章:用R解析Mahout用户推荐协同过滤算法(UserCF)实现步骤:(1)准备数据文件: item.csv;(2)编写Java程序:UserCF.java;(3)运行程序(1)数...转载 2018-06-19 11:54:06 · 592 阅读 · 0 评论 -
(工程整理)如何用Maven构建Hadoop项目
本人去年的时候一直对maven项目很头疼,由于在构建hadoop项目时涉及到很多版本冲突方面的问题,但是在今年的开发中将很多问题得以解决。这一次,将本人的经验得以总结,为大家讲解一下用maven构建hadoop项目的具体步骤。(一)hadoop家族简介Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout...原创 2018-06-19 11:20:04 · 4624 阅读 · 1 评论 -
(算法整理)二叉树的递归与非递归遍历算法
树形结构的考察在数据结构预算法中一直占有很重要的地位,二叉树的遍历一直是最基本的算法,众所周知,二叉树的遍历主要分为前序、中序、后序这三种,且三种遍历方式都存在递归与非递归两种形式,这里做一下整理与总结。这里先定义一下二叉树结点的数据结构:struct TreeNode{ int val; struct TreeNode* left = NULL; struct TreeNode* rig...原创 2018-06-17 18:23:05 · 367 阅读 · 0 评论 -
(转载)MapReduce shuffle过程剖详解及参数配置调优
MapReduce简介 在MapReduce中,框架会确保reduce阶段收到的输入数据是根据key排序过的。数据从Mapper输出到Reducer接收,是一个很复杂的过程,框架处理了所有问题,并提供了很多配置项及扩展点。一个MapReduce的大致数据流如下图:更详细的MapReduce介绍参考《Hadoop MapReduce技术内幕》Mapper的输出排序、然后传送到Reducer的过程...转载 2018-06-07 19:39:07 · 772 阅读 · 0 评论 -
(转载)MapReduce作业配置参数
原文:https://blog.csdn.net/qiezikuaichuan/article/details/46682049Note:以下配置可在服务器的mapred-site.xml中配置,作为MapReduce作业的缺省配置参数。也可以在目标作业提交时,通过configuration个性化指定这些参数。参数名称缺省值说明mapreduce.job.name作业名称mapreduce.job...转载 2018-06-07 17:36:39 · 2748 阅读 · 0 评论 -
MapReduce的Shuffle过程详解
在前一篇博文,我已经讲解了MapReduce的过程。这一篇文章,我将会就MapReduce最重要的一个环节:Shuffle,来做具体的讲解,这部分内容将帮助你优化你的mapreduce程序,使你的程序更加高效。本文主要引用了http://langyu.iteye.com/blog/992916的内容,并做了一些更改。(一)什么是shuffleShuffle过程是MapReduce的核心(也被称为奇...原创 2018-06-07 13:38:12 · 2071 阅读 · 0 评论 -
MapReduce的通俗理解与入门
看这篇文章请出去跑两圈,然后泡一壶茶,边喝茶,边看,看完你就对hadoop 与MapReduce的整体有所了解了。【前言】Hadoop是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce、分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰富,包括ZooKeeper,Pig,Chukwa,Hive,Hbase,Mahout,flume等...原创 2018-06-07 11:10:20 · 35861 阅读 · 12 评论 -
用hadoop jar执行包含hbase应用的jar包报NoClassDefFoundError问题的解决
在离线分析任务中,为了在hadoop集群上分布式运行我们的程序,需要在eclipse环境中将需要运行的程序打好jar包,丢到服务器端,用hadoop jar xxx.jar <arg0> <arg1> ...... 命令来执行。在eclipse打包有两种打包形式:普通jar和runable jar若使用runable jar打包,则是将所有与程序相关的依赖jar包全部打包进...原创 2018-06-06 10:39:10 · 2528 阅读 · 0 评论 -
什么是lambda函数?使用lambda函数有什么好处?
(一)什么是lambda函数:Python支持一种有趣的语法,它允许你快速定义单行的最小函数。这些叫做lambda的函数是从Lisp中借用来的,可以被用在任何需要函数的地方。lambda 函数是一个可以接收任意多个参数(包括可选参数)并且返回单个表达式值的匿名函数。 (注意:lambda 函数不能包含命令,它们所包含的表达式也不能超过一个)(二)使用lambda函数的好处:1、lambda函数比较...原创 2018-05-29 18:15:09 · 20478 阅读 · 0 评论 -
python中lambda函数的理解与使用
Lambda函数,即Lambda 表达式(lambda expression),是一个匿名函数(不存在函数名的函数),Lambda表达式基于数学中的λ演算得名,直接对应于其中的lambda抽象(lambda abstraction)。入门Python的朋友会问,函数没有名字也可以吗?当然可以。有些函数如果只是临时一用,而且它的业务逻辑也很简单(比如做个简单加法、取绝对值、简单过滤等)时,就没必要非...原创 2018-05-29 17:32:07 · 38148 阅读 · 2 评论 -
(转载)一个有关mapreduce全局变量的问题
https://blog.csdn.net/zeqblog/article/details/39006395最近在写mapreduce时,遇到一个问题,在class中定义的全局变量,在用eclipse本地开发运行时,mapreduce函数内部能取到参数变量,但是打包成jar包,用hadoop jar xxx.jar className 运行的时候,发现map或者reduce函数中取不到全局变量!!...转载 2018-06-05 14:11:01 · 774 阅读 · 0 评论 -
静态成员和非静态成员的区别
Java工程师经常会遇到变量声明的问题,遇到一个变量,经常不知道是否将其声明为static变量或普通变量。这里转载一篇blog,希望为大家带来一些指导性建议。【Generalization】static是一个修饰符,用于修饰成员(成员变量、成员方法)。在类A中被static修饰的变量是一种被A类对象所共享的数据,不仅可以被A类对象调用,也可以通过类名A直接调用。【static 的特点】(1)sta...原创 2018-06-05 11:58:03 · 1504 阅读 · 0 评论 -
(转载)为什么不能从static方法调用非static的方法或变量?
http://blog.csdn.net/zhouwubin123/article/details/6623308Java开发人员一定遇到过,在eclipse开发环境中,在包括main方法在内的static方法中调用某非静态变量,会编译出错。public class StaticDemo { int x; void fun() { System.out.println("this is f...转载 2018-06-05 11:21:45 · 6254 阅读 · 1 评论 -
Eclipse中的maven项目打成jar包
实际生产中,我们经常要将maven项目打包成jar,然后直接放入hadoop集群环境中运行。之前对于maven项目的使用走了很多弯路,调试了好久,终于调试通过了。以下将为大家分享一下经验。本文讲解的是打成jar包,不是war包。首先在pom.xml中添加如下代码(添加插件,使得dependencies与项目源码打成一个jar):<build> <plugins> ...原创 2018-05-28 10:14:09 · 17287 阅读 · 2 评论 -
Eclipse中 XXX cannot be resolved to a type的解决方案
在eclipse的使用过程中,经常会遇到XXX cannot be resolved to a type的问题,其字面意义是无法识别的类型,也就是说你的代码中有可能存在以下几种情况:(1)未导入的包;(2)写错的Class Name;(3)未创建却被使用的变量。因为现在的开源化开发环境,很多情况都是使用maven集成开发,或者jar包的导入方面存在缺少对应和jar包和jar包版本冲突等问题,故容易...原创 2018-05-25 15:16:42 · 7945 阅读 · 0 评论 -
关于pycharm找不到已经安装的module ImportError: No module named问题的解决方案
最近在整理Python和Pycharm相关配置的时候,遇到了一些配置上的问题,这里给大家做一下分享整理。首先,自己安装了一个python3.6(在官网上安装的,当前最新版本是Python 3.7),下载地址如下:https://www.python.org/downloads/windows/然后按照安装向导,一点点安装即可。安装目录选择为:C:\Users\yanyan\AppData\Loca...原创 2018-07-06 15:05:22 · 26823 阅读 · 3 评论