自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(124)
  • 资源 (104)
  • 论坛 (21)
  • 收藏
  • 关注

原创 增加隐式反馈的svd 推荐

基于svd++的java代码实现,实现了评分矩阵分解的参数计算,使用随机梯度下降,计算参数。参考:https://www.cnblogs.com/Xnice/p/4522671.htmlhttps://blog.csdn.net/zhongkejingwang/article/details/43083603推荐系统-技术、评估及高效算法import java.io.Buff...

2019-10-24 14:35:37 155

原创 增加偏置项的svd推荐

本文使用基于偏置项的svd,对评分矩阵进行矩阵分解,实现用户内容推荐的评分计算。如有错误的地方,希望大家指正。package com.rec.SVDModel;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import java.io.FileNotFoundExcep...

2019-10-24 14:31:01 115

原创 hdfs文件系统中相互复制的java操作

引用包:importcom.dewmobile.offline.config.Configuration;importcom.dewmobile.offline.connection.HdfsConnection;importorg.apache.commons.math3.analysis.function.Abs;importorg.apache.hadoop.

2018-01-16 15:17:15 2568 1

原创 Spark升级到2.0后测试stream-kafka测试报java.lang.NoClassDefFoundError: org/apache/spark/Logging错误

在使用spark读取kafka数据时,当spark升级到2.0之后,出现如上问题:之前遇到了,当时在工程里面添加了org.apache.spark.Logging类,能够运行。但是在后期使用过程中,又遇到了相同的问题,为了一劳永逸,今天彻底把问题解决。开发环境:Idea intelligent14 + spark-2.1.0 + kafka在Idea中安装scala

2017-08-11 16:14:51 6784 6

原创 读取job的历史记录

1、java类import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Iterator;import java.util.Map;import java.util.Map.Entry;import java.util.NavigableMap;import java.uti

2016-09-12 14:49:02 442

转载 Hive函数

1、Array创建数据库表,以array作为数据类型create table  person(name string,work_locations array)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '\t'COLLECTION ITEMS TERMINATED BY ',';2、Map创建数据库表create table score(

2016-09-05 14:12:15 341

原创 case when用法

1、划分时间段select deviceid,case when server_time >=20160825000000 and server_time when server_time >=20160825010000 and server_time when server_time >=20160825020000 and server_time when server_

2016-08-31 16:30:54 470

原创 实践rank,dense_rank,row_number区别

1、新建表create table score(name string,subject string,score string);2、插入数据insert into score values('1','En','80'),('2','En','80'),('3','En','90'),('4','En','60'),('5','En','70'),('6','En','81'),('8

2016-08-30 11:02:59 364

原创 mapreduce的理解

1、map和reduce有时会启动两个task,这两个task完成的是同一个任务,如绿框中的红框所示,为读取的block块的索引,红色大框中的任务为任务名称,蓝色框为运行任务的主机。2、两个任务同时运行是为了提高map、reduce的运行速度,哪一个运行的快,就会将另一个任务kill掉,如图红色边框内,第二个任务被杀掉,在右侧的备注说明中,记录了被杀掉的原因,由于第一个任务已经运行完毕。

2016-08-18 16:25:29 333

原创 Thread Join学习

对于join了解,非常浅薄,今天又看到相似的代码,因此动手实践Thread.Join的真正作用。通过三个类加深对Join的了解。Thread1.javapackage com.port.test;public class Thread1 extends Thread{ public Thread1(){ super("Thread1"); } public void r

2016-07-25 17:47:01 322

原创 hive去重操作

1、建表create table lintest(id string,name string,size int);2、插入数据create table inform(id string,name string,size int);3、去重查询select ad ,sum(plus),count(distinct name,id)from (select di

2016-07-22 14:02:29 16483 1

原创 hive插入数据

新建表create table lintest(name string,id string)添加新列alter table lintest add columns(plus int)向表中插入数据insert overwrite table lintestselect uuid,deviceid,'1',count(deviceid) as num from kuaiya.

2016-07-08 15:35:31 1582

原创 提交spark程序

在hadoop环境下执行spark程序,使用spark-submit提交jarpackage com.spark.classfication;import scala.Tuple2;import org.apache.spark.api.java.*;import org.apache.spark.api.java.function.Function;import org.apac

2016-07-06 18:06:19 656

原创 获取类的路径

由于上篇博客写了关于在hadoop下发送mail的文章,但是在没有将第三方jar包打入到jar包的情况下,yarn jar Mail.jar仍然可以发送出来邮件。所以跟踪查找,在Mail的类MimeMessage中获取资源路径:Object obj = mimeMsg.getClass().getResource("");System.out.println("classpath:

2016-07-01 14:40:33 344

原创 eclipse创建maven工程读取hdfs文件发送邮件

1、在maven下新建maven工程2、编写代码package WorkFlow.Mail;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import org.apache.hadoop.conf.Configuration;import or

2016-07-01 11:57:35 1185

原创 Java动态web--jsp页面调用servlet(doPost)

环境:eclipse Mars1、新建Dynamic web2、新建jsp页面,编码:<%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="UTF-8"%>hive查询语句查询语句:3、新建servletpackage com.kua

2016-06-17 18:54:09 12079 1

原创 Hive java编程提交查询语句和配置

java编程配置hive参数和执行查询//设置优先级和reduce数量public static final String MR_TASKS_NUM="set mapred.reduce.tasks=40";public static final String MR_PRIORITY="set mapred.job.priority=VERY_HIGH";//将配置应用于

2016-06-16 18:05:35 744 1

原创 yarn编码获取application列表

1、 新建maven工程2、 编写代码package Yarn.Yarn;import java.io.IOException;import java.io.OutputStreamWriter;import java.io.PrintStream;import java.io.PrintWriter;import java.nio.charset.Charset;impor

2016-06-16 16:21:38 6984 1

原创 Hive动态分区与建表、插入数据操作

1、定义动态分区指不需要为不同的分区添加不同的插入语句,分区不确定,需要从数据中获取。set hive.exec.dynamic.partition=true;//使用动态分区(可通过这个语句查看:set hive.exec.dynamic.partition;) set hive.exec.dynamic.partition.mode=nonstrict;//无限制模式 如果

2016-06-14 16:57:20 18182

原创 wordcount

1·、新建maven工程pom.xml文件内容如下: junit junit 3.8.1 test org.apache.hadoop hadoop-mapreduce-client-core 2.3.0 org.apache.hadoop hadoop-hdfs 2.3.0 org.apache.hadoop had

2016-06-07 16:19:30 296

转载 DSP需求平台

DSP广告投放是基于大数据的全网覆盖,并从海量人群中精准定向出目标客群进行广告的投放。只要是被定向的客群,当他浏览任何页面时,广告内容都有几率(取决与RTB竞价成功率)向该潜在客群展示。展现的形式有富媒体弹窗,视频,图片等,只要是该页面的公共广告位,DSP都会自动参与竞价。另外需要着重指出的是DSP是针对目标客群的广告投放,而不是面向媒体的渠道购买。CTR(Click-Through-Rate

2016-06-02 18:32:58 615

原创 relief算法研究

最近由于工作需要,对数据进行降维处理,通过对各种算法的研究,想寻找一种比较理想的算法,处理数据维度,达到降维的目的,对PCA进行研究,但是PCA是对当前多维数据的空间变换,无法达到物理降维的目的,因此想选择物理降维的算法,因此对卡方算法和relief算法进行相关研究,这两种算法是对数据的物理降维,是特征选择的操作算法。通过几天的查找资料,整理和总结一下内容:个人总结:relief算法是

2016-05-24 17:51:51 7338

原创 hive设置reduce的最大值

hive.exec.reducers.max(默认为999) 计算reducer数的公式很简单: N=min(参数2,总输入数据量/参数1) 通常情况下,有必要手动指定reducer个数。考虑到map阶段的输出数据量通常会比输入有大幅减少,因此即使不设定reducer个数,重设参数2还是必要的。依据Hadoop的经验,可以将参数2设定为0.95*(集群中TaskTracker个数)。 正确的r

2016-05-10 16:14:45 1600

原创 window客户端访问HDFS

通过widows客户端访问Hadoop集群,读取HDFS文件使用平台为eclipse,CDH5.1.0,hdf2.3.01、新建java project2、在集群中找到core-site.xml和hdfs-site文件拷贝到java project的工程下,放置到bin文件夹下在src右键,新建source folder即可,如下2、编程代码如下:package c

2016-04-21 17:11:33 3796

原创 windows内网路由器设置

cmd启动dos界面:输入:route print显示结果:2、添加路由地址: 3、查看添加成功

2016-02-29 11:37:04 376

原创 impala实现HBase数据查询

由于工作需要,现在需要使用Cloudera Manager的Impala实现大批量数据的查询统计功能。于是,在前面使用Hbase和solr搭建的平台完成最高院的全文检索平台,继续在clouderaManager原有的hadoop平台基础上继续进行更深层次的研究和应用。基于某些地方法院对于数据的要求不一致,有的客户针对于法律文书的全文检索,有的客户针对于当前某种类型案件的统计,因此原有的

2016-01-19 18:15:16 6963

原创 Sqoop将SQLServer数据导入HBase

首先在Cloudera Manager中添加Sqoop服务,然后进行如下操作:jdbc的server驱动和SQLServer-hadoop connector包下载位置:http://download.csdn.net/detail/nma_123456/94053431、 Sqoop安装包中并不包含jdbc的SqlServer驱动,所以想在HDFS和SqlServer数据库之间导入导

2016-01-15 16:50:11 4380

原创 zookeeper崩溃后修复

参考:http://www.myexception.cn/database/1973833.html可能出现该问题的情况:强制关机,数据量过大,集群意外关闭。使用cloudera搭建hadoop集群,由于使用ubuntu系统,根目录空间分配不足,导致数据录入一部分,集群崩溃,后来对ubuntu系统的根目录进行设置,扩大了根目录的空间,但是zookeeper中一台机器的节点一

2015-12-30 16:11:12 8688

原创 Ubuntu系统安装完后修改目录空间大小

参考:http://blog.csdn.net/yuxuepiaoguo/article/details/6883239Ubuntu系统LVM扩大根目录容量lvreduce –L 200g /dev/mapper/master1-vg-swap_1(调整交换空间的大小为200g)lvextend –L 200g /dev/mapper/master1-vg-root(调整根

2015-12-30 13:48:20 693

原创 Solr索引建立

solr在传统数据库上建立索引的机制:与mysql,oracle数据库联合使用的方式:网上很多资料,可以在网上参考相关资料进行学习。主要有实时索引,全量索引,增量索引,定时索引方法:修改solrconfig.xml,data-config.xml等,在solr的web页面进行操作建立索引。solr与HBase建立索引的方式有以下三种:1、协处理器模式建立索引2、

2015-10-13 21:22:41 1513

原创 solr查询返回JSON格式

SolrDocumentList docs = response.getResults();1、JSONObject返回类似{"SolrDocument":{“1”:{},“2”:{}}Map mapDoc = new HashMap();int count = 1;for(SolrDocument doc : docs){mapDoc.put(count, doc);co

2015-09-11 15:20:17 5114

原创 离线安装CM时遇到的问题

CM4.8.5离线安装:不好意思,最后没有安装成功,还是在线安装的最新版本,一下问题可能对大家查找原因有帮助。无法接收到agent检测信号有几种可能:1、Python文件不匹配;参考http://www.cnblogs.com/lion.net/archive/2014/09/02/3950619.html中_io的设置2、日志文件不存在,在config.ini中把log_file放开

2015-08-21 12:05:07 744

原创 cloudera manager安装和solrcloud搭建

我安装cloudera manager 是在线安装的,参考:http://www.cnblogs.com/lion.net/archive/2014/09/02/3950619.html,在线安装遇到的主要问题是:1、  mysql数据库设置,添加cmf账户,分配权限设置权限:Grant all on *.* to ‘root’@’%” identified by ‘123(密

2015-08-21 11:46:26 4605

转载 Cloudera在Ubuntu的安装部署

1. 安装前的准备 准备好Ubuntu离线source,配置/etc/apt/source.list 准备好Cloudera Hadoop离线source,配置/etc/apt/source.list.d/cloudera.list 同步集群的/etc/hosts ssh免密码登录,cloudera-scm-server所在机器能够免密码登录其他cloudera-scm

2015-08-08 13:29:05 3123

原创 java编写webservice接口net无法加载

使用java编写了webservice接口,插件使用的axis2,然后对一个java类发布webservice现在对原函数进行修改和删除,并且又新建了几个其他的类对新增的java类发布,并且在.net中进行调用,无法添加web引用并且java调试跟踪报错为could't find a matching java operation for wsdd operation.net报错o

2015-07-22 17:18:40 1582

原创 C# 获取xml属性名称

工作需要,读取一个超大量的xml文件,从xml文件中,读取节点,以及节点下的属性名称,用属性名称进行建表操作。在网上查找资料未果,于是自己寻找办法。在XmlElement类下有一个属性是Attributes,返回值为XmlAttributeCollection,节点element的属性存储在XmlAttributeCollection下。代码如下:XMLDocument doc=

2015-06-18 09:55:03 7032

原创 java json字符串解析--遇到的问题

参照网上的json字符串解析实例,进行开发编码,遇到了问题:java.lang.classnotfoundexception:net.sf.json.JSONObjectjava.lang.classnotfoundexception:net.sf.json.JSONArray在网上搜索解决方案:在eclispe中添加json的jar包后,代码运行出现上述问题,需要在tom

2015-06-09 17:12:28 835

转载 C#与java中对抽象类、接口的继承和重写区别

C#:一、继承什么是继承:继承是允许重用现有类去创建新类的过程。分类的原则是一个类派生出来的子类具有这个类的所有非私有的属性。1、继承C#中的类:C#不支持多重继承,C#类始终继承自一个基类(如果未在声明中指定一个基类,则继承自System.Object)。派生类继承基类的语法如下:using System;public class Person{//这是基

2015-06-02 11:39:33 2134

原创 Eclipse配置Axis2总结

配置环境Eclipse4.3 kepler server release2  + tomcat6.0 + jdk1.7 + axis2-1.6.21、 Axis2:http://axis.apache.org/axis2/java/core/download.cgiAxis2  Eclipse插件:http://axis.apache.org/axis2/java/core/tools/i

2015-06-01 16:45:43 10260

原创 静态网页和动态网页-个人学习理解

参考网络资料,总结了对于静态和动态网页的学习,通过网上实例,做了一个小demo

2015-05-31 17:33:53 1199

Yarn编码获取Application列表|Yarn编码获取Application列表.docx

使用yarn开发获取正在执行的application列表,返回application信息,kill application操作,以及在maven打包是遇到的问题。

2016-06-16

编写高质量代码:改善C#程序的157个建议.pdf

作者详细的分析了C#使用过程中的关键技术,作为一个程序员应该如何提高自己的编程质量,并且给出了代码如何规范、整洁的方法,强烈建议看一看。

2014-11-25

面向对象葵花宝典

对面向对象的开发进行了直观的、明了的解释和说明,对于软件开发的需求分析和类的设计有很大的帮助。

2014-05-23

C#发布流程

C#发布编译好的程序集,可以在其他的PC机上独立使用,能够将程序集中的引用包装到发布的版本中。可以用发布的版本进行打包处理,生成安装的exe文件。

2014-04-24

C#增加配置

C#编码时,可能针对于不同的客户,生成不同的编译版本,本文档提供多个配置的流程添加操作。可以在同一程序集中,对不同的用户,生成不同的使用文件。

2014-04-24

C#创建线程

C#线程的创建流程,多线程更新界面的操作,委托的使用,跨线程调用控件,相关的代码,创建多线程的方式

2014-04-10

C#本质和调试

C#开发过程中的参照与理解,深入了解C#的基础,更多的调试方法。

2014-01-27

ZedGraph控件详解

ZedGraph控件属性及基础教程详解,涵盖了控件的所有属性和方法,便于使用和学习。

2013-07-01

java快捷键

java使用的总结以及开发过程中的快捷键使用,希望能帮助你

2013-01-09

计算机笔试题

计算机专业找工作的笔试题,包括软件开发和测试部分,主要考试的知识点

2012-11-09

计算机专业笔试题

计算机专业笔试题,方便找工作的同学学习下载

2012-11-09

VisualAssistX_10.7.1916

破解版VisualAssistX_10.7.1916,可以安装使用,不需要注册码,不同的VS版本下有不同的使用方式,不同的操作系统之间有不同的安装方式。

2012-11-02

C++笔试题总结

自己总结的C++笔试题,用于找工作,对一些常见的公司的笔试题,进行的总结归纳。

2012-11-01

2000-2012历年英语六级听力原文

(2000-2012)年历年英语六级听力原文,方便大家学习下载,为txt格式,便于电子书阅读使用。

2012-10-29

数据挖掘-网页数据集

网页数据集是通过抓获网页数据形成的网页数据,用于数据挖掘的数据测试和数据训练。

2012-10-14

UltraEdit文档编辑器

UltraEdit能够打开任何格式的文件,便于文档的处理操作,不需要安装,直接点击运行软件即可运行。

2012-10-07

PDF转JPG软件

PDF2JPG不需要安装,只要双击exe文件即可使用,可以将pdf文件转化为JPG文件,逐页转化。

2012-08-13

Visual-F.rar

VC++开发使用过程中,自动提示函数和类的信息,辅助开发程序代码,自动生成类,及类的成员函数和变量。

2012-08-09

visual-studio-EX

VS开发使用过程中,自动提示函数和类的信息,辅助开发程序代码,自动生成类,及类的成员函数和变量。

2012-08-10

sql server使用资料

SQL-Server使用、学习资料,涉及到数据的安装使用,修改sa登陆用户,数据类型的列举。

2012-08-06

UltraCompare文件比对软件

UltraCompare文件比对软件,提供文本文件和文件夹的比对功能,轻松的区别两个相似文件的区别。

2012-08-06

VC学习资料汇总

vc、MFC的学习资料和使用教程,由入门开始的一步步循序渐进的学习资料,适合初学者。

2012-08-06

dll-lib的开发教程

dll-lib的开发教程,C++和C#的开发dll范例和开发说明。

2012-08-06

TCP/IP协议

TCP/IP协议的分析与说明,数据包的分析与解析,tcp报文头部的内容分析,与校验和的计算。

2012-08-07

SVN学习使用

SVN的学习使用资料,SVN的安装下载,以及版本的上传下载,服务器的建立,与客户端的连接。

2012-08-03

VC开发使用工具

VC开发过程中使用的各种安装软件工具,pdf_word、Source Insight、vax等,帮助vc开发过程中实现自动化。

2012-08-03

IP跳变代码

VC实现IP跳变,与MFC对话框绑定,实现IP的实时动态更新。

2012-07-26

PCB开发学习

硬件的开发使用学习,基本工具的操作,基础知识的理解掌握。

2012-07-20

DCOM学习资料

DCOM学习资料汇总,详细的DCOM原理分析,各种DCOM的学习书籍,DCOM服务器客户端程序的实例。

2012-07-16

DCOM编程与配置

DCOM的编程与配置,详细的配置设计,系统的编程说明。

2012-07-16

SQLEXPR32_CHS.EXE

SQL Server Management Studio Express 操作SQL server2000 添加Sql2005的管理工具。

2012-06-07

SQLServer2005_SSMSEE

SQL server2005管理工具,安装完成之后使得VS2005能够与SQL2000数据库连接使用,易于操作。

2012-06-07

SQLServer使用

SQL server2000的安装下载,vs连接SQL server的sql2005管理器的安装配置,sql语句的使用。

2012-06-07

mysql安装说明

详细的mysql安装说明,具体的流程操作,简单易学,易于操作,适合初学者。

2012-04-24

TCP-IP详解:全卷(一、二、三).rar

TCP-IP详解全套(1,2,3卷),值得拥有和学习,共同学习,一起努力。

2012-04-13

C#入门学习教程

.net-C#学习教程,为数不多的C#教程,适合入门级学员学习。

2012-04-13

Cstring 与BYTE类型之间转换

Cstring 与BYTE类型之间转换,实现字节与字符串的转换,将字符串转化为字节类型。0进制与16进制间转换

2012-03-31

VC控件控制编辑框数字增减

VC控件控制编辑框数字增减,将控件与Edit控件进行绑定,使得数值增减。

2012-03-31

编写程序实现软件的托盘化

编写程序实现软件的托盘化,最小化到电脑右下角,可以关闭或者调出,实现软件的后台运行。

2012-02-16

将对话框拆分为两个

将对话框拆分为两个,实现不同部分的不同编辑,对MainForm进行操作,代码实现。

2012-02-16

C#执行程序打包时修改注册表信息

发表于 2014-07-18 最后回复 2014-07-24

C# 函数执行时间长

发表于 2014-06-16 最后回复 2014-07-18

C# 程序执行时间长导致界面白屏

发表于 2014-05-22 最后回复 2014-06-09

怎样取出arraylist的值

发表于 2011-12-22 最后回复 2013-10-12

DCOM编程添加接口函数

发表于 2012-07-03 最后回复 2012-08-08

CComObject---CreateInstance

发表于 2012-05-25 最后回复 2012-07-04

多线程编程

发表于 2012-05-03 最后回复 2012-05-03

帮忙推荐几本C++编写驱动程序的书籍

发表于 2012-01-30 最后回复 2012-02-02

怎样可以预防编写的软件中毒

发表于 2011-12-31 最后回复 2011-12-31

驱动程序文件

发表于 2011-12-30 最后回复 2011-12-30

lib与dll,用VC++开发

发表于 2011-12-29 最后回复 2011-12-30

MFC App Wizard程序

发表于 2011-12-28 最后回复 2011-12-28

C# 与 DLL问题

发表于 2011-12-27 最后回复 2011-12-28

vs与数据库

发表于 2011-12-27 最后回复 2011-12-27

dll中创建带页面的winform程序,留出接口

发表于 2011-12-22 最后回复 2011-12-22

sql

发表于 2011-12-19 最后回复 2011-12-22

datagridView添加列

发表于 2011-12-21 最后回复 2011-12-22

重写.net的控件,怎么写?

发表于 2011-12-19 最后回复 2011-12-22

怎样利用页面给SQL server创建数据库

发表于 2011-12-16 最后回复 2011-12-21

DataGridView中的单元格转化成Dropdownlist形式

发表于 2011-12-20 最后回复 2011-12-21

自定义类与基本类型的隐式转换

发表于 2011-12-16 最后回复 2011-12-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除