ZhiYuanYe-CSDN博客

转载为什么做AI的都选Python？

谁会成为 AI 和大数据时代的第一开发语言？这本已是一个不需要争论的问题。如果说三年前， Matlab 、 Scala 、 R 、 Java 和 Python 还各有机会，局面尚且不清楚，那么三年之后，趋势已经非常明确了，特别是前两天 Facebook 开源了 PyTorch 之后， Python 作为 AI 时代头牌语言的位置基本确立，未来的悬念仅仅是谁能坐稳第二把交椅。不过声音市场上还有一些杂音

2017-02-16 09:27:16 18048 5

原创 Mybatis通用封装

本文针对Spring+SpringMVC+Mybatis基础框架。在进行开发的时候，没有必要对每个增删改查进行实现，写接口写sql太麻烦了，严重影响开发效率，所以这里对其进行了通用基本方法的封装。1、spring-application<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.o

2017-02-14 10:51:36 6390 6

原创 SSM+Shiro系统登录验证码的实现

1、验证码生成类：import java.util.Random;import java.awt.image.BufferedImage;import java.awt.Graphics;import java.awt.Font;import java.awt.Color;/** * 验证码生成器类，可生成数字、大写、小写字母及三者混合类型的验证码。支持自定义验证码字符数量；支持自定义

2017-02-13 16:52:21 12536 10

原创 int a = 10; int b = 20;method(a, b);//需要在method方法被调用之后，仅打印出a=100，b=200，请写出method方法的代码

最近网上比较风骚的一道面试题，大概题目是这样的：乍一看，认为张手就可以写出来，不过仔细一想，不是那么回事。好了，不说了，直接上答案，目前有两种，一种是终止JVM，另一种是改变打印输出流。 public static void main(String[] args) { int a = 10; int b = 20; method(a, b);

2017-02-13 16:07:06 6607 6

原创 Oracle查询日期

–基础语句 select add_months(last_day(sysdate)+1,0) from dual; select last_day(sysdate) from dual; –组合效果 – 当前日期 select add_months(sysdate,0) 当前日期 from dual; – 上月当前日期 select add_months(sysdate,-1

2017-02-09 14:29:22 746

原创 Nginx 负载均衡配置和策略

Nginx 的 HttpUpstreamModule 提供对后端（backend）服务器的简单负载均衡。一个最简单的 upstream 写法如下：upstream backend { server backend1.example.com; server backend2.example.com; server.backend3.example.com;}server {

2017-02-06 22:10:51 3482

原创使用Lock,Condition解决三个线程依次轮流打印出75个数

import java.util.concurrent.locks.Condition;import java.util.concurrent.locks.Lock;import java.util.concurrent.locks.ReentrantLock;public class CountTo_75 { public static void main(String[] args)

2017-01-26 22:10:37 835

原创手动实现Spring Aop

Aop，百度百科的解释：在软件业，AOP为Aspect Oriented Programming的缩写，意为：面向切面编程，通过预编译方式和运行期动态代理实现程序功能的统一维护的一种技术。AOP是OOP的延续，是软件开发中的一个热点，也是Spring框架中的一个重要内容，是函数式编程的一种衍生范型。利用AOP可以对业务逻辑的各个部分进行隔离，从而使得业务逻辑各部分之间的耦合度降低，提高程序的可重用性

2017-01-22 22:13:05 3403 1

原创 HBase Shell编写

进入hbase命令行 ./hbase shell显示hbase中的表 list创建user表，包含info、data两个列族 create ‘user’, ‘info1’, ‘data1’ create ‘user’, {NAME => ‘info’, VERSIONS => ‘3’}向user表中插入信息，row key为rk0001，列族info中添加name列标示符，值为zhangsa

2017-01-05 11:30:21 682

原创 Sqoop简介与实例

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。sqoop安装：安装在一台节点上就可以了。1.上传sqoop2.安装和配置

2017-01-04 17:46:02 2016

原创 Shuffle工作机制

Hadoop生态系统中，Shuffle是MapReduce的核心机制，它肩负了从Map到Reduce的底层过程。一个切片input split对应一个mapper，mapper将数据写入到环形缓冲区；这个环形缓冲区默认是100M，当它达到默认阀值80%的时候，它会将数据溢写（spill）到磁盘，在写磁盘过程中，map继续输出被写到缓冲区，如果在此期间缓冲区被填满，map会阻塞直到缓冲区被填满；

2017-01-04 08:55:00 4218

转载 Hadoop机架感知原理

背景分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。具体到Hadoop集群，由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储，每个bloc

2017-01-03 13:28:51 4994

原创 Hadoop的MapReduce执行过程

执行MapReduce的命令hadoop jar <jar在linux的路径> <main方法所在的类的全类名> <参数>例子：hadoop jar /root/wc1.jar cn.itcast.d3.hadoop.mr.WordCount hdfs://yzy:9000/animals/resultMR执行流程客户端提交一个mr的jar包给JobClient(提交方式：hadoop j

2016-12-30 14:48:58 2442

转载 Hadoop 面试，有它就够了

本文针对Hadoop1.0版本 Map Reduce & YARN 简介 Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System (HDFS) 和一个分布式计算引擎，该引擎支持以 Map

2016-12-30 09:08:02 2587

原创 Hadoop对RPC的支持

Remote Procedure Call RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议，通俗讲就是不同进程之间的方法调用。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用客户机/服务器模式

2016-12-30 08:50:44 576

原创 HDFS工作原理（1.0）

NameNode 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户/客户端的操作请求。文件包括： fsimage:元数据镜像文件。并不是实时同步，而是存储某一时段NameNode内存元数据信息。hdfs-site.xml的dfs.name.dir属性。 edits:操作日志文件。 fstime:保存最近一次checkpoi

2016-12-29 16:39:47 2998

原创 hadoop伪分布式搭建(2.4.1)

1.准备Linux环境 1.虚拟机->虚拟网络编辑器->host-only(仅主机模式) ->修改subnet ip 设置网段：192.168.8.0 子网掩码：255.255.255.0 -> apply -> ok 回到windows –> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP

2016-12-28 14:17:31 2684

原创各种分布式文件系统简介及适用场景

常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。Google学术论文，这是众多分布式文件系统的起源Google File System（大规模分散文件系统） MapReduce （大规模分散FrameWork） BigTable

2016-12-27 15:35:10 23922

原创 java中为什么类名可以直接调用静态方法？

因为该类的静态方法是程序启动时自动放在内存中了的，是属于程序的公共内存(但只能访问)，而类名在这里你可以理解为命名空间。先通俗的分析下，我们把类看作是一个房子。房子里面有家具，桌椅板凳之类的，房子里面还有人。房子里面所有的人都应该是共有一套家具的。也就是说，这些家具是唯一的，如果某个家具坏了，那么大家都用不了。我们再看一看定义，java的静态变量也叫做类变量，它开始于类的创建，结束于类的消亡

2016-12-21 16:15:31 3751 1

转载从零开始搭建一个HTTPS网站

我们都知道HTTP是非常不安全的，不安全的根源在于HTTP是明文传输。你在谷歌搜索了一个关键词（假设Google使用HTTP），HTTP数据包从你的计算机传送到服务器的过程中，中间经过的任意一个设备都可以轻松解析你的数据包，获取你的关键词，你的隐私毫无保障。你的信息被人获取只是明文传输的其中一个问题。总体来说，明文传输有三个问题：窃听：第三方可以获取你的信息。篡改：第三方可以修改你的信息。冒

2016-12-21 13:56:12 15541

原创几种大数阶乘算法效率比较（Java）

完整代码：package bigdatamul;import java.math.BigInteger;/** * 大数阶乘** @Description: TODO(大数阶乘)** @author yzy * @date 2016-12-20 上午9:31:14* */public class Test { public static void main(Stri

2016-12-20 09:50:43 5052

原创 ZooKeeper配置详解与集群搭建

1、安装JDK环境，参考：linux下安装JDK 2、zookeeper安装包上传到服务器，并解压得到zookeeper-3.4.6 3、mkdir /usr/local/zoo-cluster 4、 cp -r zookeeper-3.4.6 /usr/local/zoo-cluster/zookeeper01 cp -r zookeeper-3.4.6 /usr/loca

2016-12-19 22:13:28 666

原创 Java接口回调

java中接口是不可以直接创建实例的，如果把一个接口声明为一个变量，那么执行这个接口中的方法，接口没有实例是行不通的。但是java的“多态”给了我们契机，在调用这个方法的时候JVM会自动去找其子类，也就是调用其子类中实现的该方法，这是接口回调的本质。所以说，只需要给该变量指向其子类的地址就可以在调用的时候知道调用子类的方法。举个例子，那么我们就可以在Test类中创建接口CallBackInter

2016-12-16 10:02:17 1008 1

转载 Java 代码性能优化

文章来源：http://blog.csdn.net/richard_jason/article/details/53004974 作者：Richard_Jason代码优化，一个很重要的课题。可能有些人觉得没用，一些细小的地方有什么好修改的，改与不改对于代码的运行效率有什么影响呢？这个问题我是这么考虑的，就像大海里面的鲸鱼一样，它吃一条小虾米有用吗？没用，但是，吃的小虾米一多之后，鲸鱼就被喂饱了。代

2016-12-15 11:12:24 477

转载 69个经典Spring的概述

Spring 概述1.什么是spring?Spring 是个java企业级应用的开源开发框架。Spring主要用来开发Java应用，但是有些扩展是针对构建J2EE平台的web应用。Spring 框架目标是简化Java企业级应用开发，并通过POJO为基础的编程模型促进良好的编程习惯。69个经典Spring的概述 - 爱七七五八网 - 12.使用Spring框架的好处是什么？轻量：Spring 是轻量的

2016-12-15 11:02:00 634

转载每个程序员都要知道的35个jQuery小技巧

1.禁止右键点击$(document).ready(function(){$(document).bind(“contextmenu”,function(e){return false;});});2.隐藏搜索文本框文字Hide when clicked in the search field, the value.(example can be found below in the comment

2016-12-15 11:00:36 583

转载高性能网站建设指南

性能黄金法则：只有10%~20%的最终用户响应时间花在了下载HTML文档上。其余的80%~90%时间花在了下载页面中的所有组件下。HTTP概述：1.压缩：浏览器：Accept-Encoding（gzip、deflate）服务器：Content-Encoding2.缓存：浏览器：If-Modified-Since 服务器：Last-Modified如果组件自生成日期以来，没有改变过，服务器返

2016-12-15 10:51:57 607

原创 Linux安装JDK（tar.gz版）

1、下载JDK的tar.gz文件，上传到/usr/local 2、解压：tar -xzvf jdk-8u65-linux-x64.gz 3、执行：vi /etc/profile 在文件末尾添加 export JAVA_HOME=/usr/local/jdk1.8.0_65 　　export JRE_HOME=$JAVA_HOME/jre 　　export CLASSPATH=.:$J

2016-12-13 21:24:01 929

转载 redis.conf配置详细解析

转自：http://www.cnblogs.com/kreo/p/4423362.html# redis 配置文件示例# 当你需要为某个配置项指定内存大小的时候，必须要带上单位，# 通常的格式就是 1k 5gb 4m 等酱紫：## 1k => 1000 bytes# 1kb => 1024 bytes# 1m => 1000000 bytes# 1mb => 1024*1024 by

2016-12-13 16:00:08 707

原创 Redis持久化策略(RDB、AOF)

Redis的强劲性能很大程度上是由于其将所有数据都存储在了内存中，为了使Redis在重启之后仍能保证数据不丢失，需要将数据从内存中以某种形式同步到硬盘中，这一过程就是持久化。 Redis支持两种方式的持久化，一种是RDB方式，一种是AOF方式。可以单独使用其中一种或将二者结合使用。1、RDB方式 RDB方式的持久化是通过快照（snapshotting）完成的，当符合一定条件时Re

2016-12-13 15:52:31 1428

转载 epoll原理

转自：https://my.oschina.net/dclink/blog/287198首先我们来定义流的概念，一个流可以是文件，socket，pipe等等可以进行I/O操作的内核对象。不管是文件，还是套接字，还是管道，我们都可以把他们看作流。之后我们来讨论I/O的操作，通过read，我们可以从流中读入数据；通过write，我们可以往流写入数据。现在假定一个情形，我们需要从流中读数据，但是流中还没有

2016-12-13 15:37:09 446

原创 Redis集群版搭建

搭建：集群中应该至少有三个节点，每个节点有一备份节点。需要6台服务器。搭建伪分布式，需要6个redis实例（3个master，3个slave）。搭建集群的步骤：第一步：创建文件夹redis-cluster，分别复制6份redis文件夹到redis-cluster下，分别放在redis01-06文件夹下，分别删除dump.rdb文件第二步：修改redis.conf ，port分

2016-12-13 15:27:51 435

原创 Redis单机版搭建

安装：第一步：安装gcc编译环境 yum install gcc-c++ 第二步：把redis的源码上传到linux服务器。第三步：解压缩。 tar -zxvf redis-3.0.0.tar.gz 进入解压文件夹第四步：make 第五步：make install PREFIX=/usr/local/redis启动：两种启动方式，前端启动、后台启动。前端启动：./redi

2016-12-13 15:21:10 534

转载一分钟了解负载均衡的一切

什么是负载均衡负载均衡（Load Balance）是分布式系统架构设计中必须考虑的因素之一，它通常是指，将请求/数据【均匀】分摊到多个操作单元上执行，负载均衡的关键在于【均匀】。常见的负载均衡方案常见互联网分布式架构如上，分为客户端层、反向代理nginx层、站点层、服务层、数据层。可以看到，每一个下游都有多个上游调用，只需要做到，每一个上游都均匀访问每一个下游，就能实现“将请求/数据【均

2016-09-30 09:33:05 456

转载源码角度分析HashMap与HashTable到底哪不同？

在网上看到一篇较好的文章，分享出来，其中有些地方加上了自己的理解。HashMap和HashTable有什么不同？在面试和被面试的过程中，我问过也被问过这个问题，也见过了不少回答，下次被问到时，再也不会只说一个线程安全，一个非线程安全了，而是一撸袖子：闪开，老衲要装逼了！代码版本JDK每一版本都在改进。本文讨论的HashMap和HashTable基于JDK 1.7.0_67。1、时间HashTable

2016-09-30 09:22:26 715

转载首个微信小程序开发教程！

原文链接：http://gold.xitu.io/entry/57e34d6bd2030900691e9ad7本文档将带你一步步创建完成一个微信小程序，并可以在手机上体验该小程序的实际效果。这个小程序的首页将会显示欢迎语以及当前用户的微信头像，点击头像，可以在新开的页面中查看当前小程序的启动日志。微信应用号（小程序，「应用号」的新称呼）终于来了！目前还处于内测阶段，微信只邀请了部分企业参与封测。想

2016-09-23 16:33:31 1940

原创 Spring配置Quartz定时任务

最近在做一个系统，要求每天定时地执行相关代码来计算一些数据存到数据库。在实际线上系统中，免不了要定时地执行一些任务，比如每天凌晨生成前天报表，每小时生成一次汇总数据等等。Quartz是出了名的任务调度框架,它可以与J2SE和J2EE应用程序相结合，功能非常强大，轻轻松松就能与Spring集成，使用方便。这里简单总结一下Spring的定时任务配置。主要有三个核心概念：调度器、任务和触发器。三者关系简单

2016-09-22 19:17:18 1707

原创 Strman-java – 好用的字符串处理工具

Strmen-java是一个字符串处理工具，你可以通过maven将它引入到项目中。除了Java本身的字符串处理方式外，我们还可以使用Apache Common Langs里的StringUtils来简化String的操作。但以上两种方式对于我们日常编程中最容易碰到的字符串处理来说，仍然显得有些不足。Strmen-java为我们提供了一个非常完整且强大的解决方案，使用它可以解决几乎所有字符串处理场景。

2016-09-17 15:47:44 2967

原创 Java线程死锁

/* * 【线程死锁】 * 原因：两个线程相互等待被对方锁定的资源 */代码模拟：public class DeadLock { public static void main(String[] args) { Object obj = new Object(); Object obj1 = new Object(); DeadLo

2016-09-16 21:47:33 650

原创 Java自定义生成与解析（Dom4J）XML文件

XML(Extensible Markup Language):可扩展标记语言，标准通用标记语言的子集，是一种用于标记电子文件使其具有结构性的标记语言。应用：XML 应用于 web 开发的许多方面，常用于简化数据的存储和共享。在当今软件领域，XML常被用作配置文件，比如Spring就用到XML做配置。因此，XML的生成与解析就显得十分重要，尤其当需要自己设计框架时，XML的身影就更不可少。XML生成

2016-09-16 16:29:32 6252 3