- 博客(103)
- 收藏
- 关注
转载 数据仓库
1. 什么是数据仓库1.1 数据仓库的概念官方定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合,用于对管理决策过程的支持。这个定义的确官方,但是却指出了数据仓库的四个特点。特点面向主题:数据仓库都是基于某个明确主题,仅需要与该主题相关的数据,其他的无关细节数据将被排除掉 集成的:从不同的数据源采集数据到同一个数
2017-04-03 20:12:20
479
转载 Hive操作
数据操作能力是大数据分析至关重要的能力。数据操作主要包括:更改(exchange),移动(moving),排序(sorting),转换(transforming)。Hive提供了诸多查询语句,关键字,操作和方法来进行数据操作。一、 数据更改 数据更改主要包括:LOAD, INSERT, IMPORT, and EXPORT1. LOAD DATA load关键字的作用是将数据移动到hive中。如果
2017-03-19 16:33:59
692
转载 HttpClient
HttpClient jar包使用详解2014-12-21 19:05 2438人阅读 评论(0)收藏举报分类: Java 引用第三方包 版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[+]Http协议的重要性相信不用我多说了,HttpClient相比传统JDK自带的URLConnection,增加
2017-03-17 12:51:23
699
转载 高并发解决方案——提升高并发量服务器性能解决思路
高并发解决方案——提升高并发量服务器性能解决思路一个小型的网站,可以使用最简单的html静态页面就实现了,配合一些图片达到美化效果,所有的页面均存放在一个目录下,这样的网站对系统架构、性能的要求都很简单。随着互联网业务的不断丰富,网站相关的技术经过这些年的发展,已经细分到很细的方方面面,尤其对于大型网站来说,所采用的技术更是涉及面非常广,从硬件到软件、编程语言、数据库、WebSer
2017-03-16 16:25:47
12509
转载 Nginx
如何将 Nginx 配置为Web服务器建议先阅读初识 Nginx。 之后,我们来了解一下 Nginx 配置。抽象来说,将 Nginx 配置为 Web 服务器就是定义处理哪些 URLS 和如何处理这些URLS 对应的请求。具体来说,就是定义一些虚拟服务器(Virtual Servers),控制具有特定 IP 和域名的请求。更具体的来说, Nginx 通
2017-03-16 16:13:05
319
原创 SpringMVC 上传图片和头像
//上传图片 证件照 @RequestMapping(value = "/uploadPoster.do") public @ResponseBody Object uploadPoster(HttpServletRequest request, HttpServletResponse response) throws Exception { HttpJson httpJs
2017-03-16 09:17:14
737
原创 SpringMVC生成Excel模板
1,前台js发送生成Excel请求,封装请求参数。@RequestMapping(value = "/downProjectInfotoExcel.do", method = RequestMethod.GET) public void downAgendaInfotoExcel(HttpServletRequest request, HttpServletResponse resp
2017-03-15 10:37:26
469
原创 SpringMVC上传图片代码
// 上传图纸 @RequestMapping(value = "/uploadPaper.do") public @ResponseBody Object uploadPoster(HttpServletRequest request, HttpServletResponse response) throws Exception {
2017-03-15 09:44:46
500
转载 sklearn 数据加载工具
sklearn.datasets 包提供了一些小的toy数据集。为了评估数据特征(n_samples,n_features)的影响,可以控制数据的一些统计学特性,产生人工数据。这个包提供一些接口,来获取真实的机器学习社区常用于基准算法的大数据集。常见的dataset APIsklearn对于不同的数据类型提供三种数据接口。 - sample images是最简单的接口d
2017-03-14 22:47:57
657
原创 KMeans案例
#coding=utf-8""" 2017.3.14 天气数据分析"""import osimport xlrddata = []xls =xlrd.open_workbook("weather.xls")sheet = xls.sheets()[0]result1 = sheet.col_values(2)print result1result2 = she
2017-03-14 22:34:19
786
转载 mybatis-generator
generator自动生成mybatis的xml配置标签: generator自动生成mybatis 2016-03-07 13:58 132人阅读 评论(0)收藏举报版权声明:本文为博主原创文章,未经博主允许不得转载。1、首先下载好mybatis-generator-core-1.3.2.jar包。2、编辑generatorConfig
2017-03-14 22:02:49
300
转载 scala Object
Scala之Object (apply) dycopy 一、前言 前面学习了Scala的Methods,接着学习Scala中的Object二、Object Object在Scala有两种含义,在Java中,其代表一个类的实例,而在Scala中,其还是一个关键字,本篇首先将会把object当成一个类的实例看待,展示如何将对象从一种类型转化为另一种类型,之后将展示如何创建
2017-03-13 16:31:17
477
转载 机器学习
转载] 机器学习科普文章:“一文读懂机器学习,大数据/自然语言处理/算法全有了”标签: 机器学习普及知识2015-02-09 19:06 2061人阅读 评论(0)收藏举报分类: 编程杂谈(7) 机器学习(18) PS:文章主要转载自CSDN大神"黑夜路人"的文章: htt
2017-03-13 09:05:50
445
转载 Python数据可视化—matplotlib笔记
Python数据可视化—matplotlib笔记作者:qq_34264472在参加数据挖掘竞赛中,经常需要对数据进行可视化。今天有空就对数据可视化— matplotlib这块内容系统的整理下,方便查找使用。本文来自于对《利用python进行数据分析》以及网上一些博客的总结。1 matplotlib简介matplotlib是Pythom可视化程序库的泰斗,经过几十年它仍然是
2017-03-12 21:01:48
372
转载 matplotlib一些常用知识点的整理
本文作为学习过程中对matplotlib一些常用知识点的整理,方便查找。强烈推荐ipython无论你工作在什么项目上,IPython都是值得推荐的。利用ipython --pylab,可以进入PyLab模式,已经导入了matplotlib库与相关软件包(例如Numpy和Scipy),额可以直接使用相关库的功能。这样IPython配置为使用你所指定的matplotlib GUI后端(TK
2017-03-12 20:43:01
724
原创 Hive报错
Logging initialized using configuration in jar:file:/cloud/apache-hive-0.13.0-bin/lib/hive-common-0.13.0.jar!/hive-log4j.propertiesException in thread "main" java.lang.RuntimeException: java.lang.Ru
2017-03-12 17:21:40
382
转载 注册校验
HTML实现注册功能正则表达式,验证用户的输入是否符合系统要求"text/javascript"> function check_input() { var username = document.getElementById("username").value; var passwor
2017-03-12 16:34:47
697
原创 MongoDB&管道概念
管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。表达式:处理输入文档并输出。表达式是无状态的,只能用于计算当前聚合管道的文档,不能处理其它的文档。聚合框架中常用的几个操作:$project:修改输入文档的结构。可以用来重命名、增加或删除
2017-03-12 14:31:07
664
原创 windows启动MongoDB
windows下mongo的启动必须在cmd命令下,输入以下命令:mongod --dbpath "D:\MongoDB\Server\3.4\bin"然后,另外开启个cmd,在相应的bin目录下输入:mongo,才可以正常登录mongo。
2017-03-10 10:27:45
583
转载 爬虫入门
Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。Scratch,是抓取
2017-03-09 15:04:56
674
转载 Shiro权限框架简介
Shiro权限框架简介什么是Apache Shiro? Apache Shiro(发音为“shee-roh”,日语“堡垒(Castle)”的意思)是一个强大易用的Java安全框架,提供了认证、授权、加密和会话管理功能,可为任何应用提供安全保障 - 从命令行应用、移动应用到大型网络及企业应用。 你可以用 Apache Shiro做下面的
2017-03-08 09:51:52
209
转载 数据分析
数据分析是一个被广泛使用的技能标签。在真实工作环境下,至少有三个类型的职位可以算作和数据分析师相关,分别是:BI (Business Intelligence), QA (Quantitative Analyst / Data Scientist), 以及BA (Business Analyst)。a) BA首先定义业务的度量方式,比如付费用户还是活跃用户,1天日活重要还是30天日活重要。
2017-03-08 08:58:38
2254
转载 MapReduce编程
1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下所示: 1)file1: 2012-3-
2017-03-07 20:45:44
539
转载 SpringBoot入门
Spring Boot 快速入门今天给大家介绍一下spring Boot MVC,让我们学习一下如何利用Spring Boot快速的搭建一个简单的web应用。环境准备一个称手的文本编辑器(例如Vim、Emacs、Sublime Text)或者IDE(Eclipse、Idea Intellij)Java环境(JDK 1.7或以上版本)Maven 3.0+(Eclipse和
2017-03-06 14:11:22
212
原创 js实现二维码弹出
LIGHTBOX EXAMPLE function showImg(){document.getElementById("wxImg").style.display='block';}function hideImg(){document.getElementById("wxImg").style.display='none';}
2017-03-06 10:38:00
10047
1
转载 天气API
中国天气网-天气预报接口api 中国天气网地址:http://www.weather.com.cn 请求服务 : 查询实时天气信息http://www.weather.com.cn/data/sk/101110101.html 在浏览器中输入请求地址,获得西安的天气。 其中101110101是城市的代码,如果要查询其他城市的天气,只需要修改城市的代码
2017-03-05 21:35:14
995
转载 springMVC,Excel上传下载
之前曾经介绍过一个最简单的spring mvc的项目如何搭建,传送门在这里。这次就基于这个工程,继续实现上传下载的小例子。需要做下面的事情:1 增加index.html,添加form提交文件2 引入commons-fileupload、commons-io、jxl等工具包3 创建upload download接口4 注入multipartResolver bean5 在upload中使
2017-03-03 15:19:32
286
转载 SpringMVC操作Excel
POI操作Excel,读取,写入package com.ucf.boss.utils;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.io.InputStream;import
2017-03-03 14:27:19
620
转载 springmvc生成Excel
1. 模板视图FreeMarkerViewResolver 、 VolocityViewResolver 这两个视图解析器都是 UrlBasedViewResolver 的子类。 FreeMarkerViewResolver 会把 Controller 处理方法返回的逻辑视图解析为 FreeMarkerView ,而 VolocityViewResolver 会把返回的逻辑视图解析为 Volo
2017-03-03 10:17:06
537
转载 springMVC生成二维码
java springMVC生成二维码Zxing是Google提供的工具,提供了二维码的生成与解析的方法,现在使用Java利用Zxing生成二维码1),二维码的生成将Zxing-core.jar 包加入到classpath下。我的下载地址:http://i.cnblogs.com/Files.aspx 下zxing.zip包1.RqCodeController 类
2017-03-03 09:24:04
1131
转载 支付宝借口
java服务端–支付宝APP支付接口java服务端–支付宝APP支付接口1、首先设置支付宝账户有关信息及返回路径/**说明: *以下代码只是为了方便商户测试而提供的样例代码,商户可以根据自己网站的需要,按照技术文档编写,并非一定要使用该代码。 *该代码仅供学习和研究支付宝接口使用,只是提供一个参考。 */public class AlipayConfig {//↓↓↓↓
2017-03-02 11:13:08
381
转载 在JAVA中封装JSONUtils工具类及使用
在JAVA中封装JSONUtils工具类及使用 在JAVA中用json-lib-2.3-jdk15.jar包中提供了JSONObject和JSONArray基类,用于JSON的序列化和反序列化的操作。但是我们更习惯将其进一步封装,达到更好的重用。封装后的JSON工具类JSONUtils.java代码如下:import java.util.ArrayList;
2017-02-28 20:29:23
2406
转载 Java读取json文件并对json数据进行读取、添加、删除与修改操作
Java读取json文件并对json数据进行读取、添加、删除与修改操作 转载:http://blog.csdn.net/qing_yun/article/details/46865863#t0 1.介绍开发过程中经常会遇到json数据的处理,而单独对json数据进行增删改并不方便,尤其是Geojson文件的处理,通过对网络资料的整理总结,下面介绍Java语言方法
2017-02-28 20:23:50
10541
1
转载 JSON
Json 和 Jsonlib 的使用原文:http://www.cnblogs.com/sunzn/archive/2013/02/12/2910241.html什么是 JsonJSON(JvaScript Object Notation)(官网网站:http://www.json.org/)是 一种轻量级的数据交换格式。 易于人阅读和编写。同时也易于机器解析和生成。它基于
2017-02-28 20:06:39
191
转载 数据挖掘算法
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法:C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.不仅仅是选中的十大算法,其实参加评选的18种算法,
2017-02-28 14:31:35
292
转载 Apache Lucene初探
首先呢,学习任何一门新的亦或是旧的开源技术,百度其中一二是最简单的办法,先了解其中的大概,思想等等。这里就贡献一个讲解很到位的ppt。已经被我转成了PDF,便于搜藏。 其次,关于第一次编程初探,建议还是查看官方资料。百度到的资料,目前Lucene已经更新到4.9版本,这个版本需要1.7以上的JDK,所以如果还用1.6甚至是1.5的小盆友,请参考低版本,由于我用的1.6,因此在使用Luc
2017-02-27 19:18:37
182
转载 spring4.x注解
spring4.x注解概述1. 背景注解可以减少代码的开发量,spring提供了丰富的注解功能,因项目中用到不少注解,因此下定决心,经spring4.x中涉及到的注解罗列出来,供查询使用。2. spring注解图 2.1 spring-context模块的注解图 2.2 spring-web注解2.3 spring其它模块的注解3. 注解实例说
2017-02-26 20:14:32
202
转载 Spring注解详解
Spring注解详解标签: springautowiredbeanofficeclassxml2012-02-28 19:04 172897人阅读 评论(75)收藏举报 概述注释配置相对于 XML 配置具有很多的优势:它可以充分利用 Java 的反射机制获取类结构信息,这些信息可以有效减少配置的工作。如使用 JPA 注释配置 ORM
2017-02-26 19:57:39
158
转载 SpringMVC获取请求参数
Spring3 MVC请求参数获取的几种方法一、 通过@PathVariabl获取路径中的参数 @RequestMapping(value="user/{id}/{name}",method=RequestMethod.GET) public String printMessage1(@PathVariable String id,@PathVariable
2017-02-26 09:53:49
214
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人