自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

SunnyMarkLiu

悟已往之不谏 知来者之可追

原创 Machine Learning & Deep Learning 论文阅读笔记

PapersMy Machine Learning & Deep Learning Papers Notes.

2017-08-07 11:21:23

阅读数 912

评论数 0

原创 Python OpenCV3 VideoCapture读取视频文件失败解决方案

问题描述环境:Windows 7、Python2.7、OpenCV3.2、Miniconda2 如下代码不能打开视频:def playing_video_from_file(): # videocv2.VideoWriter_fourcc(*'mp4v') v...

2017-04-21 16:54:57

阅读数 5634

评论数 0

原创 Hadoop生态系统搭建(5)—— 分布式协同服务框架 Zookeeper 的安装部署与测试

1. 系统环境Ubuntu 16.04 vmware Hadoop 2.7.0 Java 1.8.0_111master:192.168.19.128 slave1:192.168.19.129 slave2:192.168.19.1302. 安装部署1.下载 zookeeper:zoo...

2017-04-18 15:24:49

阅读数 545

评论数 0

原创 Hadoop生态系统搭建(4)——高性能分布式 NoSQL 数据库 HBase 的安装部署与测试

1. 系统环境Ubuntu 16.04 vmware Hadoop 2.7.0 Java 1.8.0_111master:192.168.19.128 slave1:192.168.19.129 slave2:192.168.19.1302. 安装部署关键点: Introduction ...

2017-04-14 19:36:31

阅读数 835

评论数 0

原创 Hadoop生态系统搭建(3)——数据仓库 Hive 的安装部署与测试

1. 系统环境Ubuntu 16.04 vmware Hadoop 2.7.0 Java 1.8.0_111master:192.168.19.128 slave1:192.168.19.129 slave2:192.168.19.1302. 安装部署此处选择在 master 节点安装 ...

2017-04-12 22:37:59

阅读数 915

评论数 0

原创 Hadoop生态系统搭建(2)——数据分析脚本 Pig 的安装部署与测试

1. 系统环境Ubuntu 16.04 vmware Hadoop 2.7.0 Java 1.8.0_111master:192.168.19.128 slave1:192.168.19.129 slave2:192.168.19.1302. 部署步骤此处选择在 master 节点安装 ...

2017-04-12 16:46:26

阅读数 903

评论数 0

原创 《Hadoop 2.x HDFS源码剖析》2 — HDFS 通信协议

HDFS 涉及数据节点、名字节点和客户端之间的配合、相互调用,为了降低节点间代码的耦合性,提高单个节点代码的内聚性,HDFS 将这些节点间的通信抽象城不同的接口。HDFS 节点间的接口主要有如下两种: Hadoop RPC 接口:HDFS 中基于 Hadoop RPC 框架实现的接口; 流式接口:...

2017-01-07 21:55:33

阅读数 1683

评论数 0

原创 《Hadoop 2.x HDFS源码剖析》1 — HDFS 体系结构与基本概念

HDFS 体系结构  HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)最开始作为Apache Nutch搜索引擎的基础架构而开发的,是Apache Hadoop Core项目的一部分。HDFS是一个可以运行在通用硬件上、提供流式数据操作、处理超大...

2017-01-06 20:29:29

阅读数 1590

评论数 0

原创 Ubuntu16 搭建 Hadoop2.x HDFS 源码测试环境

由于整个 Hadoop 源代码过于臃肿,此处搭建 HDFS 源码分析环境,分析 HDFS 源码,为后续分析 MapReduce 和 Yarn 等作基础。1. 下载 hadoop-2.7.3.tar.gz 和 hadoop-2.7.3-src.tar.gz官网下载地址:http://apache.f...

2016-12-20 15:59:25

阅读数 1211

评论数 0

原创 通过工具查看Hadoop的 fimage 文件和 edits 文件

Offline Image ViewerWeb Processorhdfs oiv -i fsimage 通过只读的 WebHDFS API 查看 fimage 所记录的文件系统信息: bash$ bin/hdfs oiv -i fsimage 14/04/07 13:25:14 INF...

2016-12-12 17:51:18

阅读数 1650

评论数 0

原创 解决 Hadoop 集群执行包含 third-part lib 的 jar包的 ClassNotFoundException 问题

1 异常信息WordCount 的 maven 工程包含一些第三方的 lib,打包 package 之后的 jar 包放到 Hadoop 集群执行时报如下异常Class/File NotFoundException:使用 jd-gui 反编译生成的 jar 包,也可发现没有包含 guava:但 m...

2016-12-04 21:41:25

阅读数 686

评论数 0

原创 hadoop2.7 动态新增节点和删除节点

1. 系统环境Ubuntu 16.04 vmware Hadoop 2.7.0 Java 1.8.0_111master:192.168.19.128 slave1:192.168.19.129 slave2:192.168.19.130 clone 一份 slave2 作为新增的节点...

2016-11-29 19:25:39

阅读数 8536

评论数 0

原创 Hadoop生态系统搭建(1)——Ubuntu16.04环境搭建 Hadoop 2.7.0 全分布式环境

1. 系统环境Ubuntu 16.04 vmware hadoop 2.7.0 java 1.8.0_111master:192.168.19.128 slave1:192.168.19.129 slave2:192.168.19.1302. 部署步骤2.1 Basic Requirem...

2016-11-28 21:46:08

阅读数 7658

评论数 2

原创 CGLib basic tutorial

CGLib basic tutorialEnhancerEnhancer允许创建接口类/非接口类的代理类,Java 的 standard library 自带的类Proxy用于创建实现指定接口的代理类。 Enhancer创建的动态代理类可以拦截指定类的所有方法的调用。Demo:待创建的代理类 P...

2016-09-25 19:30:03

阅读数 723

评论数 0

原创 CGLib、Proxy、Aop resources

Create Proxies Dynamically Using CGLIB Library CGLib: The Missing Manual

2016-09-24 20:53:39

阅读数 546

评论数 0

原创 ubuntu 手动安装 mysql

ubuntu 手动安装 mysql 打开mysql下载页面( http://dev.mysql.com/downloads/mysql/ ) ,在 Select Platform:下选择Linux-Generic,下载Linux - Generic (glibc 2.5) (x86, 64-b...

2016-09-11 22:17:14

阅读数 3495

评论数 0

原创 Awesome Design Patterns Summary in java

Awesome Design Patterns  Awesome Design Patterns Summary in java.1. Creational Pattern Singleton Simple Factory Factory Method Abstract Factory Build...

2016-09-08 20:44:09

阅读数 652

评论数 0

原创 ZooKeeper 单机模式和集群模式的环境搭建

ZooKeeper环境搭建下载最新稳定版的 Zookeeper使用的是最新稳定版的 zookeeper-3.4.9Standalone Operation1、 将下载的 ZooKeeper 解压,进入 conf 目录,复制一份 zoo_sample.cfg 的配置文件命名为 zoo.cfg,修改如...

2016-09-06 09:46:17

阅读数 13766

评论数 0

原创 Maven3 + Spring4 + SpringMVC4 + Mybatis3

Maven、Spring、SpringMVC、Mybatis 整合基本流程1 整合思路1.1 Spring、SpringMVC、Mybatis 整合的系统架构:1.2 整合基本流程  整合采用自下而上的方式整合: 第一步:整合 dao 层,mybatis和spring整合,通过spring管理ma...

2016-08-27 11:27:41

阅读数 10248

评论数 7

原创 Spring MVC Basic Process Flow

Spring MVC Basic Process Flow1. Spring MVC Basic Framwork    2. DispatcherServlet Source Code  DispatcherServlet继承自HttpServlet,所以入口为 doService 方法: ...

2016-08-03 17:20:27

阅读数 757

评论数 0

原创 Spring : No mapping found for HTTP request with URI in DispatcherServlet with name "..."

问题描述:  IntelliJ IDEA创建的Spring项目,运行包如下错误:WARNING [http-nio-8080-exec-4] org.springframework.web.servlet.PageNotFound.noHandlerFound No mapping found f...

2016-07-31 13:33:57

阅读数 2761

评论数 2

原创 IntelliJ IDE运行Tomcat报错:Unable to ping server at localhost:1099

由于Tomcat默认关闭JMX功能,但IntelliJ IDE配置的IDE需要提供JMX功能,所以IntelliJ IDE运行Tomcat报错:Unable to ping server at localhost:1099! 解决的办法: 1、为Tomcat开启JMX功能,比较麻烦。 2...

2016-07-25 20:48:16

阅读数 10004

评论数 0

原创 如何用Maven创建web项目

创建的具体步骤 JavaEE视图下创建maven project: 选择创建一个simple project: packaging 选择 war 包的形式: 创建完成以后可能会出现下面的 build path 错误: 打开 pom.xml 文件,添加maven compi...

2016-07-21 15:32:38

阅读数 465

评论数 0

原创 A Few Useful Things to Know about Machine Learning

Pager:A Few Useful Things to Know about Machine Learning (Focus on the most mature and widely used one: classification)1. LEARNING = REPRESENTATION ...

2016-07-07 15:09:05

阅读数 693

评论数 0

转载 误差模型:过拟合,交叉验证,偏差-方差权衡

Introduction In this post you will get to grips with what is perhaps the most essential concept in machine learning: the bias-variance trade-off(偏差-方...

2016-05-23 19:34:26

阅读数 1985

评论数 0

转载 Linear regression and Normal Equations algorithm

假设我们有m个样本。特征向量的维度为n。因此,可知样本为{(x(1),y(1)), (x(2),y(2)),... ..., (x(m),y(m))},其中对于每一个样本中的x(i),都有x(i)={x1(i), x2(i),... ...,xn(i)}。令 H(θ)=θ0 + θ1x1 +θ...

2016-05-03 20:39:08

阅读数 582

评论数 0

转载 Linear regression and gradient descent algorithm

线性回归与梯度下降算法 作者:上品物语 原文:http://www.cnblogs.com/eczhou/p/3951861.html,部分修改。 知识点: 线性回归概念梯度下降算法         l  批量梯度下降算法         l  随机梯度下降算法         l  算法...

2016-05-03 20:11:53

阅读数 589

评论数 0

原创 ubuntu 环境下搭建 scikit-learn 环境

1. Scikit-learn requires Python (>= 2.6 or >= 3.3), NumPy (>= 1.6.1), SciPy (>= 0.9).   注意在scikit-learn 官网中给出了这样一段话:We don’t recommend in...

2016-04-29 22:31:46

阅读数 1344

评论数 0

原创 python读取邮箱邮件数据并下载附件

#!/usr/bin/python2.7 # _*_ coding: utf-8 _*_""" @Author: MarkLiu """import poplib import email from email.parser import...

2016-04-20 20:58:50

阅读数 5403

评论数 1

原创 利用朴素贝叶斯算法实现垃圾邮件的过滤,并结合Adaboost改进该算法

NaiveBayesSpamFilter V1.0利用朴素贝叶斯算法实现垃圾邮件的过滤,并结合Adaboost改进该算法。1 Naive Bayes spam filtering  假设邮件的内容中包含的词汇为Wi,垃圾邮件Spam,正常邮件ham。 判断一份邮件,内容包含的词汇为Wi,判断该邮...

2016-04-17 09:28:32

阅读数 3708

评论数 3

原创 用css3来解决背景图自适应的问题

<style> .container { background-image:url(""); background-repeat:no-repeat; -moz-background-size:cover; ...

2016-04-16 17:10:43

阅读数 584

评论数 0

原创 JavaMail API Tutorial

JavaMail API Tutorial

2016-04-13 17:32:12

阅读数 533

评论数 0

原创 整合SSH java.lang.ClassCastException: xxx_$$_javassist_0 cannot be cast to javassist.util.proxy.Proxy

问题描述  Maven 整合 SSH 时,出现如下错误:java.lang.ClassCastException: com.markliu.sshintegration.entities.Department_$$_javassist_0 cannot be cast to javassist.u...

2016-04-11 13:31:08

阅读数 4663

评论数 2

原创 SSH+ maven整合:java.lang.ClassNotFoundException: org.springframework.web.context.ContextLoaderListener

问题描述  在进行 SSH+ maven 整合时,相应的 jar 包的 dependency 已经加入,启动服务器,报如下错误:Error configuring application listener of class org.springframework.web.context.Conte...

2016-04-10 16:10:42

阅读数 769

评论数 0

转载 如何用Maven创建web项目(具体步骤)

使用eclipse插件创建一个web project 首先创建一个Maven的Project如下图     我们勾选上Create a simple project (不使用骨架)       这里的Packing 选择 war的形式...

2016-04-10 10:48:53

阅读数 661

评论数 0

原创 Eclipse创建Maven工程时出现的Java Build path 问题

问题描述  使用eclipse创建Maven工程时,出现如下错误:Description Resource Path Location Type Build path specifies execution environment J2SE-1.5. There are no J...

2016-04-08 14:26:53

阅读数 16703

评论数 2

原创 Hibernate4映射总结(2)——Annotation配置

1. 一对一单向外键关联 @Entity @Table(name = "PERSON3", schema = "hibernatebasic") public class Person3 { @Id @Column(name = &q...

2016-03-31 15:39:24

阅读数 629

评论数 2

原创 Hibernate4映射总结(1)——XML配置

1. 一对一单向外键关联model:public class Person { private Long pid; private String name; private Date birthTime; private String address; // 对...

2016-03-30 22:00:58

阅读数 1375

评论数 0

转载 Maven 那点事儿

0. 前言 Jason Van Zyl,在 Java 十大风云人物排行榜上或许会看到他。 这兄弟是干嘛的? 他就是 Maven 的创始人,人们都尊称他为“Maven 他爸”。 毋庸置疑,Jason 也是一个秃顶。James Gosling、Rod Johnson、Gavin Kin...

2016-01-26 15:52:59

阅读数 676

评论数 0

原创 Java多线程总结(8)concurrent.locks包下的锁机制的使用

1 Lock与ReadWriteLock1.1 Lockpublic interface Lock { void lock(); void lockInterruptibly() throws InterruptedException; boolean tryLock();...

2015-12-22 19:25:37

阅读数 964

评论数 2

提示
确定要删除当前文章?
取消 删除