- 博客(89)
- 收藏
- 关注
RSS订阅原创 由字典文件替换对应文章中的关键字及超链接
public class AnchorText { //文章中出现相同锚文本，仅首次替换private static final boolean hit_once = false; /* * 锚文本map * key 锚文本 * value 锚文本类型 */private static final Map<...
2017-03-09 11:07:12
309
微信公众号服务器配置验证实现
在微信公众号设置开发模式，需要调用后台服务器进行验证的伪代码实现：微信公众号服务器配置验证实现/** * 微信服务器配置验证方法 * * @param request* @param response* @return*/private String access(HttpServletRequest request, HttpServletRespo...
2017-02-17 18:05:32
517
原创 请求微信以及微信支付sign生成
/** * url请求微信 * Created by wangmeng on 2017/1/24. */@Servicepublic class WxHttpHelper { private static final Logger logger = LoggerFactory.getLogger(WxHttpHelper.class); @Au...
2017-02-17 18:03:02
845
原创 URL参数设置
public class UrlUtils { /** * 给url参数赋值 * * @param url* @param paramMap* @return 赋好值的url */public static String setUrlParamValue(String url, Map<String, Object&...
2017-02-17 17:56:59
1300
原创 Map javaBean 互转化
public class MapToBeanUtils { private static final Logger logger = LoggerFactory.getLogger(MapToBeanUtils.class); /** * 将javabean实体类转为SortedMap类型，过滤属性值为null和空的 * 然后返回一个SortedMa...
2017-02-17 17:46:29
123
原创 分布式框架-Dubbox介绍
1. Dubbo是什么？Dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。简单的说，dubbo就是个服务框架，如果没有分布式的需求，其实是不需要用的，只有在分布式的时候，才有dubbo这样的分布式服务框架的需求，并且本质上是个服务调用的东东，说白了就是个远程服务调用的分布式框架其核心部分包含:1. 远程通讯: 提供对多种基于长连接...
2015-07-16 16:02:04
326
原创 Quartz 基础结构分
Quartz是一个完全由java编写的开源作业调度框架。Quartz框架的核心是调度器。调度器负责管理Quartz应用运行时环境。调度器不是靠自己做所有的工作，而是依赖框架内一些非常重要的部件。Quartz不仅仅是线程和线程管理。为确保可伸缩性，Quartz采用了基于多线程的架构。启动时，框架初始化一套worker线程，这套线程被调度器用来执行预定的作业。这就是Quartz怎样能并发运行多个作...
2015-06-29 16:17:40
143
原创 Spark 使用Java 写入 HBase
实例代码：package com.bigdata.spark.hbase; import java.io.IOException;import java.util.List;import java.util.regex.Pattern; import org.apache.hadoop.conf.Configuration;import org.apache.h...
2015-06-26 15:30:28
1743
原创 Hbase 安装与配置
百度百科：HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不...
2015-06-26 15:22:23
226
原创 Spark 安装&配置
前提安装 hadoop ,JDK 环境 下载地址 scala：http://www.scala-lang.org/download/2.11.6.html 解压： tar –zxvf scala-2.11.6.tgz配置环境变量：vi /etc/profileexport SCALA_HOME=/opt/scala-2.11.6export PATH=$SCAL...
2015-06-17 19:35:52
79
原创 spark 架构及运算逻辑
Spark的整体流程为：Client 提交应用，Master找到一个Worker启动Driver，Driver向Master或者资源管理器申请资源，之后将应用转化为RDD Graph，再由DAGScheduler将RDD Graph转化为Stage的有向无环图提交给TaskScheduler，由TaskScheduler提交任务给Executor执行。在任务执行的过程中，其他组件协同工作，确保...
2015-06-17 16:43:58
320
原创 Spark与Shark的原理
1.Spark生态圈如下图所示为Spark的整个生态圈，最底层为资源管理器，采用Mesos、Yarn等资源管理集群或者Spark 自带的Standalone模式，底层存储为文件系统或者其他格式的存储系统如HBase。Spark作为计算框架，为上层多种应用提供服务。 Graphx和MLBase提供数据挖掘服务，如图计算和挖掘迭代计算等。Shark提供SQL查询服务，兼容Hive语法，性能比H...
2015-06-17 09:31:20
659
原创 sqoop 安装&配置
由于前面已经把 hadoop 安装并成功配置应用，下面继续对sqoop 安装与配置。Sqoop是一款开源的工具，主要用于在HADOOP(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。...
2015-06-15 12:39:46
216
原创 Hive 安装&配置及常见问题解决
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 前提安装了hadoop下载地址： http://apache.fay...
2015-06-15 12:38:12
708
原创 Hadoop+ eclipse 整合运行
问题解决方案cd hadoop安装路径/ect/hadoop修改hdfs-site.xml加上以下内容 <property> <name>dfs.permissions</name> <value>false</value> </property>旨在取消权限检查，原因是为了解决我在windo...
2015-05-28 17:36:08
168
原创 Hadoop 安装&配置
由于近两年随着互联网的高速发展，产生的数据量也想到惊人，从而产生了对大数据处理的框架，以下是Linux对hadoop 的安装与配置步骤为大家分享！ 下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/ 解压 tar –zxvf hadoop-2.5.2 配置环境变量：vi /etc/profileexport ...
2015-05-28 17:05:48
91
原创 storm 常见问题解决
1. Zookeeper+ metaq-1.4.6 和storm-0.9.4 程序在eclipse 运行出现 Will not attempt to authenticate using SASL (java.lang.SecurityException: 无法定位登录配置) 使用本地模式： LocalCluster cluster = new LocalCluster();clu...
2015-05-28 16:48:48
916
原创 Storm ui 展示字段说明
Storm ui 首页主要分为4块: Cluster Summary，Topology summary，Supervisor summary，Nimbus Configuration，如下图所示： Cluster SummaryVersion: storm 版本号Nimbus uptime: nimbus 运行时间Supervisor:storm集群中supervis...
2015-05-28 16:38:26
218
原创 Storm+zookeeper+metaq 消息处理过程详解
通过学习研究总结了Storm+zookeeper+metaq 消息处理的的整个过程以及zookeeper怎样做消息的分发与订阅，通过以下说明相信对学习storm的用户来说是一个质的回升。MetaQ主要作为数据传输的工具，Storm是数据获取&处理的工具，Zookeeper是一个协调管理的角色。数据存储，经Zookeeper协调，消息（数据）发到MetaQ中；数据获取，Storm-top...
2015-04-16 17:36:40
126
原创 Storm+zookeeper+metaq 环境安装配置
大数据分析处理中storm 相关的安装配置说明，linux 系统1. 前提是已经安装好 JDK2. 首选下载并安装 zookeeper 下载官网地址： http://hadoop.apache.org/zookeeper/releases.html比如下载 zookeeper-3.4.6.tar.gz 版本，将该版本放入到 linux 服务器上， 进行解压： tar –z...
2015-04-16 16:42:28
159
原创 单点登录(SSO)实现逻辑分享
由于企业的应用系统较多，为了是员工实现一个用户信息可以进行登陆到其他系统中，故使用单点登陆（Single Sign On , 简称 SSO ） 进行实现，目前使用的SSO框架为CAX (Central Authentication Service)是一款不错的针对 Web 应用的单点登录框架。到 CAS 官方网站下载 CAS Server 和 Client，地址分别为：http://w...
2015-03-20 10:21:09
530
原创 springMVC+JSON 请求400错误解决方案
对于springMVC 400 错误整理主要有以下情况，对于没有整理到的大家可以在后续跟帖发表：1.对于使用Ajax请求：原因在对于使用json 传递参数的时候,没有使用 jsonData: 方式进行传递参数。如下图 2.对于使用 proxy 代理 type：”Ajax”，传递参数使用params，后台接收使用@RequestBody 进行解析json查找问题：a. 在ajax 类...
2015-02-09 14:10:04
1503
原创 springMVC3 对JSON 日期转换Date方案解决
在使用 extjs +springMVC 过程中，通过前端传入的 json 对象( {‘date':’2015-01-01 00:00:00‘} ) 自动转换为 服务器端javabean 对应到date日期属性（private Date date;）解决方案：原因：在目前springMVC3 中通过配置 annotation 注解自动封装为javaBean 对象 <mvc:annota...
2015-02-09 09:46:10
225
原创 drools引擎使用决策表
前提准备：java 虚拟机 Drools核心库 Junit4.0以上版本 规则Excel模板表（将下面的图片的内容新建到Excel中）典型的用法就是根据excel创建KnowledgeBase,然后将它丢给session执行，执行的参数和结果都在params里面package com.xxx...
2015-02-05 19:33:07
779
原创 wro4j:Java Web资源压缩
wro4j是一个Web资源优化工具。众所周知，到服务器加载一个大的文件比加载两个小的文件快，因为会增加HTTP交互的次数并且大部分浏览器在任何时候对于同一个服务器，只保持两个连接。开发wro4j项目的目的是减少加载一个页面的请求次数和传输的数据量.WRO4j最大限度地减少和压缩CSS和JavaScript等web资源，WRO4j可以在编译时配置一个非常有用的API - 与适当的maven插...
2015-01-15 16:55:39
212
原创 ExtJs+SpringMVC+ibatis 实现
通过学习springMVC ，下面是extjs 整合springmvc 和 ibatis 实现的一个gridpanel 的 增删改查以及动态分页：目前将前提Extjs 代码 和 springMvc 的控制层（control）的实现为大家提供，其业务层的实现也是比较简单的只是借助于ibatis 实现数据操作。<%@ page language="java" pageEncoding...
2015-01-15 15:03:19
181
原创 Spring3.1新特性
Spring3.1新特性一、Spring2.5之前，我们都是通过实现Controller接口或其实现来定义我们的处理器类。 二、Spring2.5引入注解式处理器支持，通过@Controller 和 @RequestMapping注解定义我们的处理器类。并且提供了一组强大的注解： 需要通过处理器映射DefaultAnnotationHandlerMapping和处理器适配器A...
2015-01-15 14:38:57
93
原创 SpringMVC Control（控制器）对注解@RequestBody 单元测试示例（ Could not read JSON）解决...
org.springframework.http.converter.HttpMessageNotReadableException: Could not read JSON: No content to map to Object due to end of input; 异常处理后的结果示例如下： 对于在SprngMVC 控制器层使用 @RequestBody 注解作为参数使...
2015-01-15 11:06:21
789
原创 SpingMVC请求流程以及搭建环境
Spring mvc 概述1.Spring MVC框架围绕DispatcherServlet这个核心展开，DispatcherServlet是 SpringMVC的总导演以及总策划，他负责截获请求并将其分派给相应的处理器进行处理。Spring MVC 框架包括注解驱动注释器、请求及响应的信息处理、试图解释、本地化解析、上传文件解析、异常处理以及变得标签绑定等内容。2.Spring MV...
2015-01-15 10:52:31
97
原创 Drools 规则流的使用介绍
由于工作中长时间使用drools进行开发规则引擎，没有及时的将该规则引擎进行分享出来，以下是drools流的介绍：Drools（JBoss Rules ）具有一个易于访问企业策略、易于调整以及易于管理的开源业务规则引擎，符合业内标准，速度快、效率高。业务分析师或审核人员可以利用它轻松查看业务规则，从而检验是否已编码的规则执行了所需的业务规则。Drools Flow为Drools平台提供...
2014-09-24 20:17:26
2334
原创 Linux常用命令
1.1 登录和退出Linux 启动后，给出login 命令，等待用户登录。Login: Password: 如果是正确的用户名和密码，那么你就会进入Linux 的外壳， 外壳给出命令提示符，等待你输入命令（不要随意以root身份登录，以避免对系统造成意外的破坏）。使用logout命令退出外壳。1.2 Linux 系统的外壳外壳是一种命令解释器，它提供了用户和操作系统...
2012-08-21 23:02:23
158
原创 Linux简介
1.1 Linux 的起源应该说，Linux 起源于Internet，虽然最初的Linux 核心程序是由一名芬兰赫尔辛基的大学生Linus To rvalds编写的。1990年，他还在读大学本科计算机专业的时候，因为不满学校的服务器一次只能接待1 6个人连网，于是“一气之下，我干脆自己掏钱买了一台PC”，Linus回忆说。Linus在自己的Intel 386 PC上，利用Tanenbau ...
2012-08-21 22:48:59
143
原创 C# 程序执行 报System.Security.SecurityException: 请求失败 方案解决
在工作中遇到执行 C# 写的程序 出现以下错误，并解决其 我的程序是通过 首先映射网络驱动盘 Z，让后有灵一个程序来执行这个 Z 盘程序所出现的错误。************** 异常文本 **************System.Security.SecurityException: 请求失败。 在 System.Security.CodeAccessSecurityEngi...
2012-01-13 14:14:12
2523
原创 C# 递归删除文件夹以及文件（包括只读文件）
以下代码示例是用来删除文件夹以及文件（其文件包括只读文件）分享给大家，也许可能对大家多少有一点帮助.using System;using System.Collections.Generic;using System.ComponentModel;using System.Data;using System.Drawing;using System.Linq;usi...
2011-12-01 16:16:17
188
原创 Microsoft_SQLServer_2008_Reporting_Services应用教程
通过以上将数据进行收集统一进行管理 ，一些是我找到使用 Microsoft_SQLServer_2008_Reporting_Services 进行报表统计的使用教程（包括列表，图形格式等）共享给大家。附件中为使用教程，需要的话可以进行下载。[color=red]提示：由于上传的限制没有将数据库上传，不过可以在教程提示给的网址进行下载应用！[/color]...
2011-04-28 15:14:36
97
原创 使用Analysis Service实现数据分析
这一节是使用Analysis Service实现数据分析 所用到的数据都在 数据仓库与ETL的实现过程这章中上传了，如果发现没有的可以留言相告。附加中为 使用Analysis Service实现数据分析 实现步骤。...
2011-04-28 14:53:38
670
原创 数据仓库与ETL的实现过程
当我们了解了什么事BI（商业智能）以及数据仓库和ETL的概念后，我们就要进程相关操作，ETL过程：是 数据从数据源向目标数据仓库抽取（Extract）、转换（Transform）、装载（Load）的过程。构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。抽取：将数据从各种原始的业务系统中读取出来。...
2011-04-28 14:44:46
1104
原创 BI(商业智能) 简介
商业智能也称作BI是英文单词Business Intelligence的缩写。商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其他外部环境中的各种数据。而商业智能能够辅助的业务经营决策，既可以是操作层的，也可以是战术层和战略层的决策。为了...
2011-04-28 14:08:17
183
原创 C# VS2008 生成安装包后 安装按成后直接运行程序解决
由于将程序制作成安装程序后 安装完成 直接运行应用程序处理;1。在选中应用程序中 右击---》 添加---》新建项---》选着 安装程序类 --》 添加2.在应用程序中打开 新建的类 编写程序代码为：using System;using System.Collections;using System.Collections.Generic;using System...
2011-03-31 16:19:19
462
原创 C# 设置环境变量值
一些是C# 中用程序来设置系统环境变量值： RegistryKey regLocalMachine = Registry.LocalMachine; RegistryKey regSYSTEM = regLocalMachine.OpenSubKey("SYSTEM", true);//打开HKEY_LOCAL_MACHINE下的SYSTEM ...
2011-03-30 14:01:42
192
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人