- 博客(76)
- 收藏
- 关注
RSS订阅原创 数据冷热分离方案
冷热分离就是在处理的数据的时将数据分成冷库和热库，冷库存放的是已经走到最终状态的数据，同时也是不常使用的数据；热库存放的未走到最终状态的数据，还需要在进行变更的、经常使用的数据。...
2022-08-14 09:55:02
7157
3
原创 异步编程-线程池实现异步编程
如上代码确实可以在main函数所在线程获取到异步任务的执行结果，但是main线程必须以阻塞的代价来获取结果，在异步任务执行完毕前，main函数所在线程就不能做其他事情了，这显然不是我们所需要的，具体怎么解决这个问题，下章揭晓。上面代码0创建了一个线程池，这里我们设置线程池核心线程个数为当前物理机的CPU核数，最大线程个数为当前物理机CPU核数的2倍；设置线程池阻塞队列的大小为5；如上面代码所示，main函数所在线程只需要把两个任务提交到线程池后就可以做自己的事情了，具体两个任务是由线程池中的线程执行。...
2022-08-13 21:07:49
962
1
原创 异步编程-线程实现异步编程
来执行异步任务，这在生产实践中是不建议使用的，因为线程创建与销毁是有开销的，并且没有限制线程的个数，如果使用不当可能会把系统线程用尽，从而造成错误。在生产环境中一般创建一个线程池，然后使用线程池中的线程来执行异步任务，线程池中的线程是可以被复用的，这可以大大减少线程创建与销毁开销；执行的异步任务并没有返回值，如果我们想异步执行一个任务，并且需要在任务执行完毕后获取任务执行结果，则上面这个方式是满足不了的，这时候就需要用到JDK中的。在Java中实现异步编程最简单的方式是：每当有异步任务要执行时，使用。...
2022-08-13 20:45:42
813
原创 ubuntu安装myeclipse及破解
首先确保在安装myeclipse之前已经安装好Java并配置好了java环境，不然会提示报错。错误如下：Starting installer - please wait...- Preparing install engine- Extracted install engine- Unable to find Java environmentMake sure you have J
2016-05-12 17:44:00
3041
原创 POI导出数据库数据到excel
废话就不说了，直接上代码。public class TestPoi{ /** * * */ private InputStream istream; private String fileName; public String exportSatistics() { try { list = orderService.getExportCount(map);
2016-04-26 11:31:32
554
原创 java数组倒置
倒置的意思就是最后一个元素变成第一个元素第一个元素变成最后一个，过程就是折中取半不遍历整个数组了遍历一半，那么就/2就可以 ，但是计算机数数的方法是从0开始的也就是说最后一个值里面是没有任何意义的 ，所以要在最后一个值那-1，且还要定义一个空的变量 因为要用到三步换值（变量） 不定义也可以。 String [] strArr = new String[]{"1","2","3","4",
2016-04-25 16:49:58
8335
1
原创 Ubuntu安装flashplayer
在安装Ubuntu 16.04LTS后，播放有视频的网页时，总提示你要安装缺失的插件，在 ubuntu 系统下为Firefox安装 Flash 插件其实很简单，只要按照 Adobe flash plugin 的安装包里的 readme.txt 的说明来做就行了。安装方法：1. 下载Adobe Flash Player:从官方下载，也可以通过下面的这链接下载，这链接是官方
2016-04-24 20:49:54
696
原创 Hibernate 缓存机制
一、why（为什么要用Hibernate缓存？）Hibernate是一个持久层框架，经常访问物理数据库。为了降低应用程序对物理数据源访问的频次，从而提高应用程序的运行性能。缓存内的数据是对物理数据源中的数据的复制，应用程序在运行时从缓存读写数据，在特定的时刻或事件会同步缓存和物理数据源的数据。 二、what（Hibernate缓存原理是怎样的？）Hibern
2015-12-02 15:13:14
426
转载 Java正则表达式
一、正则表达式基础知识1.1 句点符号 假设你在玩英文拼字游戏，想要找出三个字母的单词，而且这些单词必须以“t”字母开头，以“n”字母结束。另外，假设有一本英文字典，你可以用正则表达式搜索它的全部内容。要构造出这个正则表达式，你可以使用一个通配符——句点符号“.”。这样，完整的表达式就是“t.n”，它匹配“tan”、“ten”、“tin”和“ton”
2015-11-20 15:30:57
816
原创 MongoDB 基本操作详解
MongoDB 最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语 言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。最后由于 MongoDB 可以支持复杂的数据结构，而且带有强大的数据查询功能，因此非常受 到欢迎，很多项目都考虑用 MongoDB 来替代 MySQL 等传统数据库来实现不是特别复杂的 Web 应用。由于数据量实在太大，所以迁移...
2015-10-20 14:41:29
589
原创 15 个常用的 SQL Server 高级语法
1、case…end （具体的值）case后面有值，相当于c#中的switch case注意：case后必须有条件，并且when后面必须是值不能为条件。-----------------case--end---语法结构---------------------select name , --注意逗号 case level --case后跟条件 whe
2015-10-20 14:39:24
539
原创 实例说明Spring实现AOP的2种方式（注解和XML配置）
本文说到spring的配置，常见的有两种：注解方式和xml文件配置方式首先， 建立model类UserManager，代码如下：package com.spring.model;public class UserManager { private int id; private String name; private String password;
2015-10-14 10:35:45
1089
原创 Sublime Text 必备插件
常用插件 :SideBarEnhancementsHTML-CSS-JS PrettifyBracketHighlighterSublimeCodeIntelEmmetCTagsMarkdown Editing 和 Markdown PreviewSideBarEnhancementsSublime Text有一个缺点
2015-10-10 13:53:10
574
原创 CentOS下mysql 常用命令
linux常用操作命令： 一：连接mysql mysql -uroot -h192.168.1.24 -P3306 -p kobe24 # -u:用户名、-h:IP 远程连接数据库、-P:端口(默认3306)、-p：密码； 二：常用操作： 1：查询当前库：show databases; 2：查询某个表：use databa
2015-09-23 14:33:27
627
转载 Lnmp网站服务器搭建
Lnmp就是Linux+Nginx+MySQL+PHP这种网站服务器架构。Nginx是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP代理服务器。Nginx的优势：作为 Web 服务器：相比 Apache，Nginx 使用更少的资源，支持更多的并发连接，体现更高的效率。作为负载均衡器：Nginx 既可以在内部直接支持rails和PHP，也可以支持作
2015-09-23 14:22:42
1264
原创 Maven搭建项目并且运行
一、Maven介绍Maven是一个项目管理和综合工具。Maven提供了开发人员构建一个完整的生命周期框架。开发团队可以自动完成项目的基础工具建设，Maven使用标准的目录结构和默认构建生命周期。在多个开发团队环境时，Maven可以设置按标准在非常短的时间里完成配置工作。由于大部分项目的设置都很简单，并且可重复使用，Maven让开发人员的工作更轻松，同时创建报表，检查，构建和测试自动
2015-09-21 10:02:20
779
转载 Spark入门实战系列--10.分布式内存文件系统Tachyon介绍及安装部署
1、Tachyon介绍1.1 Tachyon简介随着实时计算的需求日益增多，分布式内存计算也持续升温，怎样将海量数据近乎实时地处理，或者说怎样把离线批处理的速度再提升到一个新的高度是当前研究的重点。近年来，内存的吞吐量成指数倍增长，而磁盘的吞吐量增长缓慢，那么将原有计算框架中文件落地磁盘替换为文件落地内存，也是提高效率的优化点。目前已经使用基于内存计算的分布式计算框架有：Spark、I
2015-09-16 09:40:34
868
转载 Spark入门实战系列--9.Spark图计算GraphX介绍及实例
1、GraphX介绍1.1 GraphX应用背景Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。众所周知·，社交网络中人与人之间有很多关系链，例如Twitter、Facebook、微博和微信等，这些都是大数据产生的地方都需要图计算，现在的图处理基本都是分布式的图处理，而并非单机处理。Sp
2015-09-16 09:38:02
1778
转载 Spark入门实战系列--8.Spark MLlib（下）
1、MLlib实例1.1 聚类实例1.1.1 算法说明聚类（Cluster analysis）有时也被翻译为簇类，其核心任务是：将一组目标object划分为若干个簇，每个簇之间的object尽可能相似，簇与簇之间的object尽可能相异。聚类算法是机器学习（或者说是数据挖掘更合适）中重要的一部分，除了最为简单的K-Means聚类算法外，比较常见的还有层次法（CURE、CHAMELEON
2015-09-16 09:35:22
1073
原创 Linux下搭建svn
1、安装svn客户端2、创建svn代码库1、安装svn客户端 1.1、使用命令安装 1）CentOS$ yum install subversion 2）ubuntusudo apt-get install subversion 1.2、源码安装 http://www.cnblogs.com/fengbo
2015-09-12 09:28:55
344
转载 Java内存管理原理及内存区域详解
一、概述Java虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干不同的数据区域，这些区域都有各自的用途以及创建和销毁的时间。Java虚拟机所管理的内存将会包括以下几个运行时数据区域，如下图所示：下面就每一个区域进行阐述。二、运行时数据区域程序计数器程序计数器，可以看做是当前线程所执行的字节码的行号指示器。在虚拟机的概念模型里，字节码解释器
2015-09-11 15:39:25
561
转载 Spark入门实战系列--8.Spark MLlib（上）--机器学习及SparkMLlib简介
1、机器学习概念1.1 机器学习的定义在维基百科上对机器学习提出以下几种定义：l“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。l“机器学习是对能通过经验自动改进的计算机算法的研究”。l“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。” 一种经常引用的英文定义是：A computer program is
2015-09-09 15:12:14
1779
转载 Spark入门实战系列--7.Spark Streaming（下）--实时流计算Spark Streaming实战
1、实例演示1.1 流数据模拟器1.1.1 流数据说明在实例演示中模拟实际情况，需要源源不断地接入流数据，为了在演示过程中更接近真实环境将定义流数据模拟器。该模拟器主要功能：通过Socket方式监听指定的端口号，当外部程序通过该端口连接并请求数据时，模拟器将定时将指定的文件数据随机获取发送给外部程序。1.1.2 模拟器代码import java.io.{PrintWriter}
2015-09-09 15:06:00
1191
1
转载 Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理介绍
1、Spark Streaming简介1.1 概述Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算
2015-09-09 15:01:08
1164
转载 Spark入门实战系列--6.SparkSQL（下）--Spark实战应用
1、运行环境说明1.1 硬软件环境l 主机操作系统：Windows 64位，双核4线程，主频2.2G，10G内存l 虚拟软件：VMware® Workstation 9.0.0 build-812388l 虚拟机操作系统：CentOS 64位，单核l 虚拟机运行环境：Ø JDK：1.7.0_55 64位Ø Hadoop：2.2.0（需要编译为64位）Ø
2015-09-09 14:56:04
487
转载 Spark入门实战系列--6.SparkSQL（中）--深入了解SparkSQL运行计划及调优
1.1 运行环境说明1.1.1 硬软件环境l 主机操作系统：Windows 64位，双核4线程，主频2.2G，10G内存l 虚拟软件：VMware® Workstation 9.0.0 build-812388l 虚拟机操作系统：CentOS6.5 64位，单核l 虚拟机运行环境：Ø JDK：1.7.0_55 64位Ø Hadoop：2.2.0（需要编译为
2015-09-09 14:51:33
1184
转载 Spark入门实战系列--5.Hive（下）--Hive实战
1、Hive操作演示1.1 内部表1.1.1 创建表并加载数据第一步 启动HDFS、YARN和Hive，启动完毕后创建Hive数据库hive>create database hive;hive>show databases;hive>use hive;第二步 创建内部表由于Hive使用了类似SQL的语法，所以创建内部表的语句相对SQL只增加了行和字段分隔
2015-09-09 14:49:34
1021
转载 Spark入门实战系列--6.SparkSQL（上）--SparkSQL简介
1、SparkSQL的发展历程1.1 Hive and SharkSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为了提高SQL-on-Hadoop的效率，
2015-09-09 14:48:04
1043
转载 Spark入门实战系列--5.Hive（上）--Hive介绍及部署
1、Hive介绍1.1 Hive介绍Hive是一个基于Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。它是Facebook 2008年8月开源的一个数据仓库框架，提供了类似于SQL语法的HQL语句作为数据访问接口，Hive有如下优缺点：l 优点：1.Hive 使用类SQL 查询语法, 最大限度的实现了和SQL标准的兼容，大大降低了传统数据分析人员学习的曲线；2.
2015-09-09 14:45:17
1110
转载 Spark入门实战系列--4.Spark运行架构
1、 Spark运行架构1.1 术语定义lApplication：Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码；lDriver：Spark中的Driver即运行上述Application的main()函数并且创建SparkCon
2015-09-09 14:42:54
819
转载 Spark入门实战系列--3.Spark编程模型（上）--编程模型及SparkShell实战
1、Spark编程模型1.1 术语定义l应用程序（Application）： 基于Spark的用户程序，包含了一个Driver Program 和集群中多个的Executor；l驱动程序（Driver Program）：运行Application的main()函数并且创建SparkContext，通常用SparkContext代表Driver Program；l执行单元（Execu
2015-09-09 14:37:00
978
转载 Spark入门实战系列--2.Spark编译与部署（下）--Spark编译安装
1、编译SparkSpark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具，而Maven安装则需要maven工具，两种方式均需要在联网下进行，通过比较发现SBT编译速度较慢（原因有可能是1、时间不一样，SBT是白天编译，Maven是深夜进行的，获取依赖包速度不同 2、maven下载大文件是多线程进行，而SB
2015-09-09 14:35:00
732
转载 Spark入门实战系列--2.Spark编译与部署（中）--Hadoop编译安装
实验相关的测试数据和安装包放在百度盘提提供下载，地址为http://pan.baidu.com/s/1pJyyB6j。原创地址为：http://www.cnblogs.com/shishanyuan1、编译Hadooop1.1 搭建环境1.1.1 安装并设置maven1. 下载maven安装包，建议安装3.0以上版本，本次安装选择的是maven3.0.5的二进制包，下载
2015-09-09 14:32:42
607
转载 Spark编译与部署（上）--基础环境搭建
实验相关的测试数据和安装包放在百度盘提提供下载，地址为http://pan.baidu.com/s/1pJyyB6j。原创地址为：http://www.cnblogs.com/shishanyuan1、运行环境说明1.1 硬软件环境l 主机操作系统：Windows 64位，双核4线程，主频2.2G，10G内存l 虚拟软件：VMware® Workstatio
2015-09-09 14:23:29
1288
转载 Spark入门实战系列--1.Spark及其生态圈简介
1、简介1.1 Spark简介Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了Spark SQL、S
2015-09-09 14:17:34
923
转载 SpringMVC+MyBatis分页插件简单实现
一、封装分页page类 package com.framework.common.page.impl; import java.io.Serializable; import com.framework.common.page.IPage; /** * * * */ public abstract class BasePage impl
2015-09-06 09:22:19
2364
1
原创 java中遍历Map的方法
/** * 遍历Map的四种方法 */ public static void method01(){ Map map = new HashMap(); map.put("1", "value1"); map.put("2", "value2"); map.put("3", "value3"); //第一种：普遍使用，二次取值
2015-08-14 10:28:44
301
转载 Hadoop入门进阶课程13--Chukwa介绍与安装部署
该系列课程是应邀实验楼整理编写的，这里需要赞一下实验楼提供了学习的新方式，可以边看博客边上机实验，课程地址为 https://www.shiyanlou.com/courses/237【注】该系列所使用到安装包、测试数据和代码均可在百度网盘下载，具体地址为 http://pan.baidu.com/s/10PnDs，下载该PDF文件1、搭建环境部署节点操作系统为CentOS，防火墙和S
2015-07-28 16:45:48
677
转载 Hadoop入门进阶课程12--Flume介绍、安装与应用案例
该系列课程是应邀实验楼整理编写的，这里需要赞一下实验楼提供了学习的新方式，可以边看博客边上机实验，课程地址为 https://www.shiyanlou.com/courses/237【注】该系列所使用到安装包、测试数据和代码均可在百度网盘下载，具体地址为 http://pan.baidu.com/s/10PnDs，下载该PDF文件1、搭建环境部署节点操作系统为CentOS，防火墙和S
2015-07-28 16:43:11
555
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人